Transfer dużych zestawów danych w przypadku umiarkowanej lub wysokiej przepustowości sieci

Ten artykuł zawiera omówienie rozwiązań do transferu danych, gdy masz umiarkowaną lub wysoką przepustowość sieci w środowisku i planujesz transfer dużych zestawów danych. W tym scenariuszu opisano również zalecane opcje transferu danych i odpowiednią kluczową macierz możliwości.

Aby zapoznać się z omówieniem wszystkich dostępnych opcji transferu danych, przejdź do artykułu Wybieranie rozwiązania do transferu danych platformy Azure.

Opis scenariusza

Duże zestawy danych odnoszą się do rozmiarów danych rzędu od terabajtów do petabajtów. Umiarkowana do wysokiej przepustowości sieci odnosi się do 100 Mb/s do 10 Gb/s.

Zalecane opcje

Opcje zalecane w tym scenariuszu zależą od tego, czy przepustowość sieci jest średnia, czy wysoka.

Średnia przepustowość sieci (100 Mb/s–1 Gb/s)

W przypadku umiarkowanej przepustowości sieci należy przeprojektować czas transferu danych przez sieć.

Użyj poniższej tabeli, aby oszacować czas i na podstawie tego, wybrać między transferem offline lub transferem sieciowym. W tabeli przedstawiono przewidywany czas transferu danych sieciowych dla różnych dostępnych przepustowości sieci (przy założeniu 90% wykorzystania).

• Jeśli transfer sieciowy ma być zbyt wolny, należy użyć urządzenia fizycznego. Zalecane opcje w tym przypadku to urządzenia do transferu offline z rodziny azure Data Box lub usługi Azure Import/Export przy użyciu własnych dysków.

  • Rodzina urządzeń Azure Data Box na potrzeby transferów w trybie offline — używaj urządzeń Microsoft Data Box, aby przesyłać duże ilości danych na platformę Azure, gdy ograniczają cię czas, dostępność sieci lub koszty. Kopiuj dane lokalne za pomocą narzędzi takich jak Robocopy. W zależności od rozmiaru danych, które mają zostać przesłane, wybierz urządzenie Data Box Disk, Data Box lub Data Box Heavy.
  • Azure Import/Export — użyj usługi Azure Import/Export, wysyłając własne dyski, aby bezpiecznie importować duże ilości danych do usługi Azure Blob Storage i Azure Files. Ta usługa może również służyć do transferu danych z Azure Blob Storage na dyski, które są następnie wysyłane do siedzib lokalnych.

• Jeśli transfer sieciowy ma być rozsądny, możesz użyć dowolnego z poniższych narzędzi opisanych w artykule Wysoka przepustowość sieci.

Wysoka przepustowość sieci (1 Gb/s–100 Gb/s)

Jeśli dostępna przepustowość sieci jest wysoka, użyj jednego z następujących narzędzi.

• AzCopy — to narzędzie wiersza polecenia umożliwia łatwe kopiowanie danych do i z usług Azure Blobs, Files i Table Storage przy użyciu optymalnej wydajności. Narzędzie AzCopy obsługuje współbieżność i równoległość oraz umożliwia wznawianie operacji kopiowania, gdy zostaną przerwane.
• Interfejsy API REST usługi Azure Storage/SDK — podczas tworzenia aplikacji można projektować aplikację z wykorzystaniem interfejsów API REST usługi Azure Storage i używać Azure SDK oferowanych w wielu językach.
• Rodzina urządzeń Azure Data Box na potrzeby transferów online — usługi Azure Stack Edge i Data Box Gateway to urządzenia sieciowe online, które mogą przenosić dane do i z platformy Azure. Użyj urządzenia fizycznego usługi Azure Stack Edge, gdy istnieje jednoczesne zapotrzebowanie na ciągłe pozyskiwanie i wstępne przetwarzanie danych przed przekazaniem. Data Box Gateway jest wirtualną wersją urządzenia z takimi samymi możliwościami transferu danych. W każdym przypadku za zarządzanie transferem danych odpowiada urządzenie.
• Azure Data Factory — Data Factory powinna być używana do poziomego skalowania operacji transferu, a także w sytuacjach wymagających orkiestracji i monitorowania na poziomie klasy korporacyjnej. Użyj usługi Data Factory do regularnego przesyłania plików pomiędzy kilkoma usługami platformy Azure, w środowisku lokalnym lub gdy konieczne jest połączenie tych dwóch wymagań. Za pomocą usługi Data Factory można tworzyć oparte na danych przepływy pracy (nazywane potokami) i ustalać ich harmonogram. Te przepływy pracy pozyskują dane z wielu różnych magazynów danych i automatyzują przenoszenie i przekształcanie danych.

Porównanie kluczowych możliwości

W poniższych tabelach podsumowano różnice w kluczowych możliwościach zalecanych opcji.

Umiarkowana przepustowość sieci

W przypadku korzystania z transferu danych w trybie offline skorzystaj z poniższej tabeli, aby zrozumieć różnice w kluczowych możliwościach.

* Usługa Data Box Disk nie obsługuje dużych udziałów plików i nie zachowuje metadanych pliku

W przypadku korzystania z transferu danych online użyj tabeli w poniższej sekcji, aby uzyskać wysoką przepustowość sieci.

Wysoka przepustowość sieci

Następne kroki

• Dowiedz się, jak przesyłać dane za pomocą funkcji Import/Export.

• Dowiedz się, jak:

  • Transfer danych za pomocą urządzenia Data Box Disk.
  • Transfer danych za pomocą urządzenia Data Box.
  • Transferowanie danych za pomocą narzędzia AzCopy.
  • Transfer danych za pomocą usługi Data Box Gateway.
  • Przekształć dane za pomocą usługi Azure Stack Edge przed wysłaniem na platformę Azure.

• Dowiedz się, jak przesyłać dane za pomocą usługi Azure Data Factory.

• Transfer danych za pomocą interfejsów API REST:

  • Na platformie .NET
  • W języku Java