Udostępnij przez

Cele skalowania i wydajności usługi Azure Storage Mover

Wydajność usługi migracji magazynu jest kluczowym aspektem każdej migracji. W tym artykule udostępniamy wyniki testów wydajnościowych, chociaż Azure Storage Mover jest nową usługą i twoje doświadczenia mogą się różnić.

Skalować cele

Usługa Azure Storage Mover jest testowana przy użyciu 500 milionów elementów przestrzeni nazw (plików i folderów) migrowanych z obsługiwanego źródła do obsługiwanego obiektu docelowego na platformie Azure.

Jak testujemy

Azure Storage Mover to hybrydowa usługa w chmurze. Usługi hybrydowe mają składnik usługi w chmurze i składnik infrastruktury, które administrator usługi uruchamia w środowisku firmowym organizacji. W przypadku usługi Storage Mover ten składnik hybrydowy jest agentem migracji. Agenci to maszyny wirtualne, uruchomione na hoście w pobliżu magazynu źródłowego.

Diagram przedstawiający ścieżkę migracji z dwiema strzałkami. Pierwsza strzałka reprezentuje dane przesyłane do konta magazynowego ze źródła lub agenta, a druga strzałka przedstawia tylko informacje dotyczące zarządzania lub kontroli przekazywane do zasobu lub usługi przenoszenia danych.

Tylko agent jest odpowiednią częścią usługi do testowania wydajności. Aby pominąć obawy dotyczące prywatności i wydajności, dane są przesyłane bezpośrednio z agenta usługi Storage Mover do magazynu docelowego na platformie Azure. Do usługi w chmurze są wysyłane tylko komunikaty kontroli i telemetrii.

Punkty odniesienia wydajności

Te wyniki testów są tworzone w idealnych warunkach. Są one przeznaczone jako punkt odniesienia składników, na które może mieć bezpośredni wpływ usługa Storage Mover i agent. Różnice w urządzeniach źródłowych, dyskach i połączeniach sieciowych nie są brane pod uwagę w tym teście. Wydajność w świecie rzeczywistym różni się.

Migracja z instalacji SMB do testów udziału plików platformy Azure została wykonana w następujący sposób:

W poniższej tabeli opisano cechy środowisk testowych, które wygenerowały wyniki testu wydajnościowego z instalacji SMB do udziału plików platformy Azure.

Test nr. Nie. plików Łączna waga plików Rozmiar pliku Struktura folderów
1 12 milionów 12 GB 1 KB każdy 12 folderów z 100 podfolderami zawierającymi 10 000 plików
2 30 20 GB 1 teczka
3 1 mln 100 GB 100 KB każdy 1000 folderów, z których każdy ma 1000 plików
4 1 4 terabajty
5 117 milionów 117 GB 1 KB każdy 117 folderów z 100 podfolderami zawierającymi 10 000 plików
6 1 1 TB
7 3,3 mln 45 GB 13 KB każdy 200 000 folderów, z których każdy zawiera 16\17 plików
8 50 milionów 1 TB 20 KB każdy 2940 000 folderów, z których każdy zawiera 17 plików
9 100 milionów 2 TB (terabajty) 20 KB każdy 5880 000 folderów, z których każdy zawiera 17 plików

Różne konfiguracje zasobów agenta są testowane w punktach końcowych protokołu SMB:

  1. Minspec: 4 PROCESOR / 8 GB pamięci RAM 4 rdzenie wirtualne procesora CPU na 2,7 GHz każdy i 8 GiB pamięci (RAM) jest minimalną specyfikacją agenta usługi Azure Storage Mover.

    Test nr. Czas wykonywania Czas skanowania
    6 16 min, 42 s 1,2 s
    7 55 min, 4 sek 1 min, 17 s
    8
    9

  2. Bootspec: 8 PROCESOR /16 GiB PAMIĘCI RAM 8 rdzeni wirtualnych procesora CPU z 2,7 GHz każdy i 16 GiB pamięci (RAM) jest minimalną specyfikacją agenta usługi Azure Storage Mover.

    Wyniki: standardowe konto magazynowe

    Test nr. Czas wykonywania Czas skanowania
    1 15 godz., 59 min 2 godz., 36 min, 34 s
    2 1 min, 54 s 3,34 s
    3 1 godz., 19 min, 27 s 57,62 s
    4 1 godz., 5 min, 57 s 2,89 s

    Wyniki: standardowe konto magazynowe z obsługą dużych plików

    Test nr. Czas wykonywania Czas skanowania
    1 3 godz., 51 min, 31 sek. 41 min i 45 s
    5 25 godz., 47 min 23 godz., 35 min
    6 11 min, 11 sek 0,7 s
    7 55 min, 10 sek. 1 min, 3 s
    8
    9

    Wyniki: konto usługi Premium Storage

    Test nr. Czas wykonywania Czas skanowania
    1 2 godz., 35 min, 14 sek. 24 min, 46 s
    5 23 godz., 34 min 21 godz., 34 min

Zapoznaj się z zalecanymi zasobami agenta dla zakresu migracji w artykule dotyczącym wdrażania agenta.

Dlaczego wydajność migracji różni się

Zasadniczo jakość sieci i możliwość przetwarzania plików, folderów i ich metadanych wpływają na szybkość migracji.

W dwóch podstawowych obszarach sieci i obliczeń kilka aspektów ma wpływ:

  • Scenariusz migracji
    Kopiowanie do pustego obiektu docelowego jest szybsze w porównaniu z obiektem docelowym z zawartością. To zachowanie jest spowodowane tym, że aparat migracji ocenia nie tylko źródło, ale także cel podejmowania decyzji dotyczących kopiowania.
  • Liczba elementów w przestrzeni nazw
    Migrowanie 1 GiB małych plików zajmuje więcej czasu niż migrowanie 1 GiB większych plików.
  • Kształt przestrzeni nazw
    Szeroka hierarchia folderów nadaje się do bardziej równoległego przetwarzania niż wąska lub głęboka struktura katalogów. Współczynnik plików do folderów również odgrywa rolę.
  • Zmiany w przestrzeni nazw
    Liczba plików, folderów i metadanych zmienia się między dwoma przebiegami kopiowania z tego samego źródła do tego samego miejsca docelowego.
  • Sieć
    • przepustowość i opóźnienie między agentem źródłowym a agentem migracji
    • przepustowość i opóźnienie między agentem migracji a obiektem docelowym na platformie Azure
  • Zasoby agenta migracji
    Ilość pamięci (RAM), liczba rdzeni obliczeniowych, a nawet ilość dostępnej pojemności dysku lokalnego na agencie migracji może mieć głęboki wpływ na szybkość migracji. Więcej zasobów obliczeniowych pomaga zoptymalizować wykorzystanie dostępnej przepustowości, zwłaszcza gdy w migracji należy przetworzyć duże ilości mniejszych plików.

Na przykład tradycyjna migracja wymaga strategii zminimalizowania przestojów obciążenia, które zależy od magazynu, który ma zostać zmigrowany. Usługa Azure Storage Mover obsługuje tę strategię, nazywaną zbieżną, n-passową migracją.

W tej strategii wielokrotnie kopiujesz ze źródła do celu. Podczas tych iteracji kopiowania źródło pozostaje dostępne do odczytu i zapisu w obciążeniu. Tuż przed kopią końcową wyłączasz źródło w trybie offline. Oczekuje się, że ostateczna kopia zostanie zakończona szybciej niż pierwsza utworzona kopia, i zajmie około tak długo, jak ta bezpośrednio poprzedzająca ją. Po zakończeniu kopiowania obciążenie robocze zostanie przełączone na nowy magazyn docelowy na platformie Azure i będzie ponownie dostępne.

Podczas pierwszej kopii ze źródła do miejsca docelowego obiekt docelowy jest prawdopodobnie pusty, a cała zawartość źródłowa musi być przenoszona do miejsca docelowego. W rezultacie pierwsza kopia jest prawdopodobnie najbardziej ograniczona przez dostępne zasoby sieciowe.

Pod koniec migracji po kilkukrotnym skopiowaniu źródła do obiektu docelowego tylko kilka plików, folderów i metadanych jest modyfikowanych po ostatniej kopii. W tej ostatniej iteracji kopiowania porównywanie każdego pliku źródłowego i docelowego w celu sprawdzenia, czy trzeba je zaktualizować, wymaga większej ilości zasobów obliczeniowych i mniejszej liczby zasobów sieciowych. Operacje kopiowania na tym późnym etapie migracji są często bardziej ograniczone przez zasoby obliczeniowe. Znaczenie odpowiedniego przydziału zasobów dla agenta usługi Storage Mover ma coraz większe znaczenie.

Dalsze kroki

Poniższe artykuły mogą pomóc w pomyślnym wdrożeniu usługi Azure Storage Mover.

  • Last updated on