Udostępnij przez

Użyj DataBox do migracji z Network Attached Storage (NAS) do udziałów plików platformy Azure

Ten artykuł dotyczący migracji jest jednym z kilku obejmujących słowa NAS i Azure DataBox. Sprawdź, czy ten artykuł ma zastosowanie do twojego scenariusza:

  • Źródło danych: magazyn dołączony do sieci (NAS)
  • Trasa migracji: NAS ⇒ DataBox ⇒ udział plików Azure
  • Brak plików buforowania w środowisku lokalnym: ponieważ ostatnim celem jest użycie udziałów plików platformy Azure bezpośrednio w chmurze, nie ma planu korzystania z usługi Azure File Sync.

Jeśli twój scenariusz jest inny, zapoznaj się z tabelą przewodników migracji.

W tym artykule przedstawiono kompleksowe instrukcje dotyczące planowania, wdrażania i konfiguracji sieci potrzebnych do migracji z urządzenia NAS do funkcjonalnych udziałów plików platformy Azure. W tym przewodniku jest używana usługa Azure DataBox do transportu danych zbiorczych (transport danych w trybie offline).

Odnosi się do

Typ współdzielenia plików SMB NFS
Standardowe udostępnianie plików (GPv2), LRS/ZRS Yes No
Udziały plików standardowe (GPv2), GRS/GZRS Yes No
Premiumowe udostępnienia plików (FileStorage), LRS/ZRS Yes No

Cele migracji

Celem jest przeniesienie udziałów na urządzeniu NAS na platformę Azure i przeniesienie ich na natywne udziały plików platformy Azure. Możesz korzystać z natywnych udostępnień plików platformy Azure bez potrzeby używania systemu Windows Server. Ta migracja musi odbywać się w sposób gwarantujący integralność danych produkcyjnych i dostępności podczas migracji. Ten ostatni wymaga minimalnego przestoju, dzięki czemu może mieścić się w oknach obsługi lub tylko nieznacznie przekraczać regularne okna obsługi.

Omówienie migracji

Proces migracji składa się z kilku faz. Musisz wdrożyć konta magazynowe Azure, udostępnienia plików oraz skonfigurować sieć. Następnie zmigrujesz pliki przy użyciu usługi Azure DataBox i narzędzia RoboCopy, aby nadrobić zaległości w zmianach. Na koniec przeniesiesz swoich użytkowników i aplikacje do nowo utworzonych udziałów plikowych Azure. W poniższych sekcjach szczegółowo opisano fazy procesu migracji.

Tip

Gdy wracasz do tego artykułu, skorzystaj z nawigacji po prawej stronie, aby przejść do fazy migracji, na której skończyłeś.

Faza 1. Identyfikowanie liczby potrzebnych udziałów plików platformy Azure

W tym kroku określisz, ile udziałów plików Azure potrzebujesz. Być może masz więcej folderów na dyskach, które obecnie udostępniasz lokalnie użytkownikom i aplikacjom jako zasoby SMB. W zależności od liczby udziałów plików, które chcesz migrować do chmury, możesz użyć mapowania 1:1 lub grupowania udziałów.

Używanie mapowania 1:1

Jeśli masz wystarczająco małą liczbę udziałów, zalecamy mapowanie 1:1. Najprostszym sposobem na wyobrażenie sobie tego scenariusza jest wyobrażenie lokalnego udziału, który odwzorowuje się 1:1 na udział plików w Azure.

Korzystanie z grupowania udziałów

Jeśli masz dużą liczbę udziałów dyskowych, rozważ ich grupowanie. Jeśli na przykład dział kadr (HR) ma 15 udziałów, możesz rozważyć przechowywanie wszystkich danych kadrowych w jednym udziale plików platformy Azure. Dzięki temu dla tej grupy lokalnych udziałów potrzebny jest tylko jeden udział plików Azure w chmurze.

Faza 2. Wdrażanie zasobów usługi Azure Storage

W tej fazie aprowizujesz konta usługi Azure Storage i udziały plików w nich.

Pamiętaj, że udział plików platformy Azure jest wdrażany w chmurze na koncie usługi Azure Storage. W przypadku standardowych udziałów plików rozwiązanie to sprawia, że konto magazynu jest celem skalowania w kontekście wydajności dla liczb wydajności, takich jak IOPS (liczba operacji wejścia/wyjścia na sekundę) i przepływność. Jeśli umieszczasz wiele udziałów plikowych w jednym koncie magazynowym, tworzysz udostępnioną pulę operacji wejścia/wyjścia na sekundę (IOPS) i przepływność dla tych udziałów.

Ogólnie rzecz biorąc, można umieścić wiele udziałów plików platformy Azure na tym samym koncie magazynowym, jeśli masz udziały archiwalne lub spodziewasz się w nich niskiej codziennej aktywności. Jeśli jednak masz wysoce aktywne udziały (udziały używane przez wielu użytkowników i/lub aplikacje), warto wdrożyć konta przechowywania z wyłącznie jednym udziałem plików. Te ograniczenia nie mają zastosowania do kont przechowywania FileStorage (Premium), gdzie wydajność jest jawnie aprowizowana i gwarantowana dla każdego udziału.

Note

Istnieje limit 250 kont magazynowania na subskrypcję na region Azure. W przypadku zwiększenia limitu przydziału można utworzyć maksymalnie 500 kont magazynu na region. Aby uzyskać więcej informacji, zobacz Zwiększanie limitów przydziału kont usługi Azure Storage.

Kolejną kwestią podczas wdrażania konta przechowywania jest nadmiarowość. Zobacz Nadmiarowość usługi Azure Files.

Jeśli utworzono listę udziałów, powinno się przypisać każdy udział do konta magazynu, w którym zostanie utworzony.

Nazwy twoich zasobów są również ważne. Na przykład, jeśli pogrupujesz wiele udostępnionych zasobów dla działu kadr w konto magazynu w usłudze Azure Storage, powinieneś odpowiednio nazwać to konto magazynu. Podobnie, podczas nadawania nazw udziałom plików na platformie Azure, warto stosować nazwy zbliżone do tych używanych dla ich lokalnych odpowiedników.

Teraz wdróż odpowiednią liczbę kont usługi Azure Storage z odpowiednią liczbą udziałów plików platformy Azure w nich, postępując zgodnie z instrukcjami w temacie Tworzenie udziału plików SMB. W większości przypadków należy upewnić się, że każdy z regionów kont magazynowych jest taki sam.

Faza 3. Określanie liczby potrzebnych urządzeń Azure DataBox

Uruchom ten krok tylko po zakończeniu poprzedniej fazy. Zasoby usługi Azure Storage (konta magazynu i udziały plików) powinny zostać utworzone w tym momencie. W ramach zamówienia usługi DataBox należy określić, do których kont magazynu są przenoszone dane przez urządzenie DataBox.

W tej fazie należy zamapować wyniki planu migracji z poprzedniej fazy na limity dostępnych opcji DataBox. Te rozważania pomogą Ci w zaplanowaniu, które opcje DataBox należy wybrać i jak wiele z nich będzie potrzebnych do przeniesienia udziałów NAS do udostępnionych zasobów plikowych Azure.

Aby określić liczbę potrzebnych urządzeń, należy wziąć pod uwagę następujące ważne limity:

  • Każdy Azure DataBox może przenosić dane na maksymalnie 10 kont magazynowych.
  • Każda opcja DataBox ma własną pojemność do wykorzystania. Zobacz Opcje usługi DataBox.

Zapoznaj się z planem migracji, aby uzyskać informacje o liczbie kont magazynowych, które zdecydowałeś się utworzyć, oraz o udziałach w każdym z nich. Następnie przyjrzyj się rozmiarowi poszczególnych udziałów na serwerze NAS. Połączenie tych informacji pozwoli zoptymalizować proces i zdecydować, które urządzenie powinno wysyłać dane do których kont magazynowych. Możesz mieć dwa urządzenia DataBox, które przenoszą pliki na to samo konto magazynu, ale nie dziel zawartości pojedynczego udziału plików na dwóch urządzeniach DataBox.

Opcje urządzenia DataBox

W przypadku migracji standardowej należy wybrać jedną lub kombinację tych dwóch opcji DataBox:

  • DataBox Jest to najbardziej typowa opcja. Urządzenie DataBox o wzmocnionej konstrukcji, które działa podobnie jak NAS, zostanie wysłane do Ciebie. Ma do wykorzystania pojemność 80 TiB. Aby uzyskać więcej informacji, zobacz dokumentację usługi DataBox.
  • DataBox Heavy Ta opcja oferuje wytrzymałe urządzenie DataBox na kołach, które działa podobnie jak NAS, z pojemnością 1 PiB. Pojemność do wykorzystania wynosi około 20% mniej ze względu na obciążenie związane z szyfrowaniem i systemem plików. Aby uzyskać więcej informacji, zobacz dokumentację usługi DataBox Heavy.

Warning

Data Box Disks nie jest zalecany w przypadku migracji do udziałów plikowych Azure. Usługa Data Box Disk nie zachowuje metadanych pliku, takich jak uprawnienia dostępu (ACL) i inne atrybuty.

Faza 4. Aprowizuj tymczasowy system Windows Server

Podczas oczekiwania na nadejście urządzenia Azure DataBox(es) możesz już wdrożyć co najmniej jeden serwer z systemem Windows, który będzie potrzebny do uruchamiania zadań narzędzia RoboCopy.

  • Pierwszym zastosowaniem tych serwerów będzie skopiowanie plików do urządzenia DataBox.
  • Drugim zastosowaniem tych serwerów będzie nadrobienie zaległości w zmianach, które wystąpiły na urządzeniu NAS, podczas gdy urządzenie DataBox było w transporcie. Takie podejście utrzymuje czas przestoju po stronie źródłowej na minimalnym poziomie.

Szybkość pracy zadań narzędzia RoboCopy zależy głównie od następujących czynników:

Ważne jest, aby pamiętać o szczegółach podczas podejmowania decyzji o ilości pamięci RAM i liczbie wątków, jaką przydzielisz swoim tymczasowym serwerom Windows.

Faza 5: Przygotowywanie do korzystania z udziałów plików Azure

Aby zaoszczędzić czas, należy kontynuować tę fazę podczas oczekiwania na nadejście urządzenia DataBox. Dzięki informacjom w tej fazie będziesz w stanie zdecydować, w jaki sposób serwery i użytkownicy będą mogli korzystać z udziałów plików platformy Azure. Najważniejsze decyzje to:

  • Sieci: Umożliwiaj sieciom kierowanie ruchu SMB.
  • Uwierzytelniania: Konfigurowanie kont usługi Azure Storage na potrzeby uwierzytelniania Kerberos. Program AdConnect i przyłączanie domeny do konta magazynu umożliwi aplikacjom i użytkownikom używanie tożsamości usługi AD do uwierzytelniania
  • Autoryzacja: Listy ACL na poziomie udziału dla każdego udziału plików platformy Azure umożliwią użytkownikom i grupom usługi AD dostęp do tego udziału, a wewnątrz udziału plików platformy Azure natywne listy ACL systemu plików NTFS przejmą kontrolę. Autoryzacja oparta na listach kontroli dostępu (ACL) plików i folderów działa tak samo, jak w przypadku udziałów SMB w środowisku lokalnym.
  • Ciągłość działania: Integracja udziałów plików Azure z istniejącym środowiskiem często wymaga zachowania istniejących adresów udziałów. Jeśli nie używasz jeszcze przestrzeni nazw systemu plików DFS, rozważ ustanowienie go w danym środowisku. Możesz zachować możliwość udostępniania adresów używanych przez użytkowników i skrypty bez zmian. DFS-N można użyć jako usługi routingu przestrzeni nazw dla protokołu SMB, przekierowując cele przestrzeni nazw DFS do udostępniania plików Azure po ich migracji.

Ten film jest przewodnikiem i pokazem dotyczącym bezpiecznego udostępniania plików w usłudze Azure bezpośrednio dla użytkowników i aplikacji w pięciu prostych krokach.
Film odnosi się do dokumentacji dotyczącej następujących tematów. Pamiętaj, że usługa Azure Active Directory jest teraz identyfikatorem Entra firmy Microsoft. Więcej informacji można znaleźć w sekcji Nowa nazwa usługi Azure AD.

Faza 6. Kopiowanie plików do urządzenia DataBox

Po nadejściu urządzenia DataBox należy skonfigurować urządzenie DataBox z nieskrępowaną łącznością sieciową z urządzeniem NAS. Postępuj zgodnie z dokumentacją konfiguracji dla typu DataBox, który zamówiłeś.

W zależności od typu DataBox może być dostępne narzędzia do kopiowania DataBox. W tym momencie nie są one zalecane w przypadku migracji do udziałów plików platformy Azure, ponieważ nie kopiują plików z pełną wiernością do urządzenia DataBox. Zamiast tego użyj narzędzia RoboCopy.

Po przybyciu urządzenia DataBox udziały SMB przygotowane wstępnie będą dostępne dla każdego konta magazynowego, które określiłeś podczas zamawiania.

  • Jeśli Twoje pliki trafią do udziału plików Azure w warstwie Premium, będzie jeden udział SMB na każde konto magazynowe "File Storage" w tej warstwie.
  • Jeśli pliki przechodzą do konta magazynu w warstwie Standardowa, będą istnieć trzy udziały SMB na konto magazynu w warstwie Standardowa (GPv1 i GPv2). Tylko udziały plików kończące się na _AzFiles są istotne dla twojej migracji. Ignoruj udziały dotyczące blobów blokowych i stronicowych.

Wykonaj kroki opisane w dokumentacji usługi Azure DataBox:

  1. Nawiązywanie połączenia z urządzeniem Data Box
  2. Kopiowanie danych na urządzenie Data Box
  3. Przygotowywanie urządzenia DataBox do wyjazdu na platformę Azure

Połączona dokumentacja usługi DataBox określa polecenie RoboCopy. Jednak polecenie nie jest odpowiednie do zachowania pełnej wierności pliku i folderu. Zamiast tego użyj tego polecenia:

Robocopy /MT:32 /NP /NFL /NDL /B /MIR /IT /COPY:DATSO /DCOPY:DAT /UNILOG:<FilePathAndName> <SourcePath> <Dest.Path>
  • Aby dowiedzieć się więcej na temat szczegółów poszczególnych flag narzędzia RoboCopy, zapoznaj się z tabelą w nadchodzącej sekcji narzędzia RoboCopy.
  • Aby dowiedzieć się więcej na temat odpowiedniego rozmiaru liczby /MT:nwątków, zoptymalizować szybkość narzędzia RoboCopy i uczynić narzędzie RoboCopy dobrym sąsiadem w centrum danych, zapoznaj się z sekcją rozwiązywania problemów z narzędziem RoboCopy.

Tip

Alternatywą dla narzędzia Robocopy jest usługa Data Box, która utworzyła usługę kopiowania danych. Za pomocą tej usługi można załadować pliki na urządzenie Data Box z pełną wiernością. Postępuj zgodnie z tym samouczkiem dotyczącym kopiowania danych i upewnij się, że ustawiono właściwy docelowy udział plików w usłudze Azure.

Faza 7. Nadrabianie zaległości za pomocą narzędzia RoboCopy z serwera NAS

Gdy urządzenie DataBox zgłosi, że wszystkie pliki i foldery zostały umieszczone w planowanych udziałach plików platformy Azure, możesz kontynuować tę fazę. Narzędzie RoboCopy uzupełniające jest potrzebne tylko wtedy, gdy dane na serwerze NAS mogły się zmienić od czasu rozpoczęcia kopiowania z DataBox. W niektórych scenariuszach, w których używasz udziału do celów archiwizacji, może być możliwe zatrzymanie wprowadzania zmian w udziale na serwerze NAS do momentu zakończenia migracji. Możesz również mieć możliwość obsługi wymagań biznesowych, ustawiając udziały NAS na tylko do odczytu podczas migracji.

W przypadkach, gdy w trakcie migracji potrzebny jest współdzielony zasób do odczytu i zapisu, a można pozwolić sobie jedynie na krótki okres przestoju, ten krok z użyciem RoboCopy będzie ważny do ukończenia przed przełączeniem dostępu użytkownika bezpośrednio do zasobu plików Azure.

W tym kroku uruchomisz zadania narzędzia RoboCopy, aby zsynchronizować udziały w chmurze z najnowszymi zmianami na serwerze NAS, które zaszły od momentu, gdy udziały zostały przeniesione na DataBox. Ten program synchronizacji RoboCopy może zakończyć się szybko lub trochę potrwać, w zależności od liczby zmian, które wystąpiły w udziałach NAS.

Uruchom pierwszą kopię lokalną do folderu docelowego systemu Windows Server:

  1. Zidentyfikuj pierwszą lokalizację na urządzeniu NAS.
  2. Zidentyfikuj odpowiadający udostępniony zasób Azure.
  3. Zainstaluj udział plików platformy Azure jako dysk sieciowy lokalny w tymczasowym systemie Windows Server.
  4. Uruchom kopię przy użyciu narzędzia RoboCopy zgodnie z opisem.

Instalowanie udziału plików platformy Azure

Przed rozpoczęciem korzystania z narzędzia RoboCopy należy udostępnić udział plików platformy Azure za pośrednictwem protokołu SMB. Najprostszym sposobem jest zainstalowanie udziału jako dysku sieciowego lokalnego do systemu Windows Server, którego planujesz używać na potrzeby narzędzia RoboCopy.

Important

Aby pomyślnie zainstalować udział plików platformy Azure w lokalnym systemie Windows Server, należy ukończyć fazę 5. Przygotowanie do korzystania z udziałów plików platformy Azure.

Gdy wszystko będzie gotowe, przeczytaj artykuł, jak używać udziału plików platformy Azure z systemem Windows i zamontuj udział plików platformy Azure, dla którego chcesz uruchomić program RoboCopy do synchronizacji NAS.

RoboCopy

Następujące polecenie RoboCopy skopiuje tylko zmiany (zaktualizowane pliki i foldery) z magazynu NAS do udostępnionego zasobu plików Azure.

robocopy <SourcePath> <Dest.Path> /MT:20 /R:2 /W:1 /B /MIR /IT /COPY:DATSO /DCOPY:DAT /NP /NFL /NDL /XD "System Volume Information" /UNILOG:<FilePathAndName>
Switch Meaning
/MT:n Umożliwia uruchomienie narzędzia Robocopy w trybie wielowątkowym. Wartość domyślna to n 8. Maksymalna liczba wątków to 128. Chociaż duża liczba wątków pomaga usycić dostępną przepustowość, nie oznacza to, że migracja zawsze będzie szybsza z większą liczbą wątków. Testy z usługą Azure Files wskazują, że wartości między 8 a 20 zapewniają zrównoważoną wydajność podczas początkowego przebiegu kopiowania. Kolejne /MIR uruchomienia są stopniowo dotknięte dostępną przepustowością obliczeniową oraz sieciową. Aby zoptymalizować kolejne uruchomienia, dokładniej dopasuj liczbę wątków do liczby rdzeni procesora oraz liczby wątków na rdzeń. Zastanów się, czy trzeba zarezerwować rdzenie dla innych zadań serwera produkcyjnego. Testy w usłudze Azure Files wykazały, że maksymalnie 64 wątki generują dobrą wydajność, ale tylko wtedy, gdy procesory mogą utrzymać je w tym samym czasie.
/R:n Maksymalna liczba ponownych prób dla pliku, którego nie udało się skopiować przy pierwszej próbie. Narzędzie Robocopy spróbuje n razy przed trwałym niepowodzeniem kopiowania pliku podczas uruchomienia. Możesz zoptymalizować wydajność działania: wybierz wartość dwóch lub trzech, jeśli uważasz, że przekroczenia limitu czasu spowodowały niepowodzenia w przeszłości. Może to być bardziej typowe w przypadku łączy sieci WAN. Jeśli uważasz, że plik nie został skopiowany, ponieważ był aktywnie używany, wybierz brak ponawiania prób lub wartość jeden. Próba ponownie kilka sekund później może nie być wystarczająca do zmiany stanu w użyciu pliku. Użytkownicy lub aplikacje, które mają otwarte pliki, mogą potrzebować jeszcze kilku godzin. W takim przypadku, zaakceptowanie faktu, że plik nie został jeszcze skopiowany i próba przechwycenia go w jednym z kolejnych, zaplanowanych przebiegów Robocopy, może ostatecznie doprowadzić do pomyślnego skopiowania pliku. Pomaga to w szybszym zakończeniu bieżącego procesu bez konieczności przedłużania go przez liczne ponowne próby, które ostatecznie w większości kończą się błędami kopiowania z powodu nadal otwartych plików po upływie czasu oczekiwania na ponowienie próby.
/W:n Określa czas, przez który narzędzie Robocopy czeka, zanim podejmie próbę skopiowania pliku, który nie został pomyślnie skopiowany podczas poprzedniej próby. n to liczba sekund oczekiwania między ponowną próbą. /W:n jest często używany razem z /R:n.
/B Uruchamia narzędzie Robocopy w tym samym trybie, którego użyłaby aplikacja do tworzenia kopii zapasowych. Ten przełącznik umożliwia narzędziu Robocopy przenoszenie plików, do których bieżący użytkownik nie ma uprawnień. Przełącznik kopii zapasowej zależy od uruchomienia polecenia Robocopy w konsoli z podwyższonym poziomem uprawnień administratora lub w oknie programu PowerShell. Jeśli używasz narzędzia Robocopy do Azure Files, upewnij się, że montujesz udział plików Azure przy użyciu klucza dostępu do konta magazynu zamiast tożsamości domeny. Jeśli tego nie zrobisz, komunikaty o błędach mogą nie prowadzić intuicyjnie do rozwiązania problemu.
/MIR (Odwzorowuje źródło do miejsca docelowego.) Umożliwia programowi Robocopy kopiowanie tylko delt pomiędzy źródłem a miejscem docelowym. Puste podkatalogi zostaną skopiowane. Elementy (pliki lub foldery), które uległy zmianie lub nie istnieją w miejscu docelowym, zostaną skopiowane. Elementy, które istnieją w miejscu docelowym, ale nie ma ich w źródle, zostaną wyczyszczone (usunięte) z miejsca docelowego. W przypadku korzystania z tego przełącznika dokładnie dopasuj strukturę folderu źródłowego i docelowego. Dopasowanie oznacza skopiowanie z poprawnego poziomu źródła i folderu do pasującego poziomu folderu docelowego. Tylko wtedy tworzenie kopii na zasadzie „nadrobienia zaległości” może zakończyć się powodzeniem. Gdy źródło i cel są niezgodne, użycie /MIR spowoduje usunięcia i ponowne kopiowanie na dużą skalę.
/IT Zapewnia zachowanie wierności w pewnych scenariuszach lustrzanych.
Jeśli na przykład plik napotyka zmianę listy ACL i aktualizację atrybutu między dwoma przebiegami narzędzia Robocopy, jest on oznaczony jako ukryty. Bez elementu /IT zmiana ACL może zostać pominięta przez narzędzie Robocopy i nie zostać przeniesiona do lokalizacji docelowej.
/COPY:[copyflags] Wierność kopii pliku. Wartość domyślna: /COPY:DAT. Flagi kopiowania: D= Dane, A= Atrybuty, T= Znaczniki czasu, S= Zabezpieczenia = NTFS ACLs, O= Informacje o właścicielu, U= Informacje o audycie. W udziale plików platformy Azure nie można przechowywać informacji o inspekcji.
/DCOPY:[copyflags] Wierność przy kopiowaniu katalogów Wartość domyślna: /DCOPY:DA. Flagi kopiowania: D= Dane, A= Atrybuty, T= Znaczniki czasu.
/NP Określa brak wyświetlania postępu kopiowania dla każdego pliku i folderu. Wyświetlanie postępu znacznie obniża wydajność kopiowania.
/NFL Określa brak rejestrowania nazw plików. Poprawia wydajność kopiowania.
/NDL Określa, że nazwy katalogów nie są rejestrowane. Poprawia wydajność kopiowania.
/XD Określa katalogi, które mają być wykluczone. Podczas uruchamiania Robocopy na poziomie głównym woluminu rozważ wykluczenie ukrytego System Volume Information katalogu. Jeśli są używane zgodnie z projektem, wszystkie zawarte tam informacje odnoszą się do konkretnego woluminu w tym konkretnym systemie i można je odtworzyć na żądanie. Kopiowanie tych informacji nie będzie przydatne w chmurze ani kiedy dane są kiedykolwiek kopiowane z powrotem do innego woluminu systemu Windows. Pozostawienie tej zawartości nie powinno być traktowane jako utrata danych.
/UNILOG:<file name> Zapisuje status w pliku dziennika jako Unicode. (Zastępuje istniejący dziennik).
/L Tylko do testów
Pliki powinny być tylko wymienione na liście. Nie zostaną one skopiowane, usunięte ani oznaczone sygnaturą czasową. Często używane z /TEE do wyjścia konsoli. Może być konieczne usunięcie flag z przykładowego skryptu, takiego jak /NP, /NFLi /NDL, w celu uzyskania prawidłowych udokumentowanych wyników testu.
/Z
Kopiuje pliki w trybie ponownego uruchamiania. Ten przełącznik jest zalecany tylko w niestabilnym środowisku sieciowym. Znacznie zmniejsza wydajność kopiowania z powodu dodatkowego logowania.
/ZB
Używa trybu ponownego uruchamiania. W przypadku odmowy dostępu ta opcja używa trybu tworzenia kopii zapasowej. Ta opcja znacznie pogarsza wydajność kopiowania z powodu tworzenia punktów kontrolnych.

Important

Zalecamy używanie systemu Windows Server 2022. W przypadku korzystania z systemu Windows Server 2019 upewnij się, że zainstalowano najnowszą wersję poprawki lub co najmniej KB5005103 aktualizacji systemu operacyjnego. Zawiera ważne poprawki dla niektórych scenariuszy narzędzia Robocopy.

Tip

Zapoznaj się z sekcją Rozwiązywanie problemów , jeśli narzędzie RoboCopy wpływa na środowisko produkcyjne, zgłasza wiele błędów lub nie postępuje tak szybko, jak oczekiwano.

Przełączenie użytkownika

Po uruchomieniu polecenia RoboCopy po raz pierwszy użytkownicy i aplikacje nadal uzyskują dostęp do plików na serwerze NAS i potencjalnie je zmieniają. Możliwe, że narzędzie RoboCopy przetworzyło katalog, przechodzi do następnego, a następnie użytkownik w lokalizacji źródłowej (NAS) dodaje, zmienia lub usuwa plik, który nie będzie teraz przetwarzany w tym bieżącym uruchomieniu narzędzia RoboCopy. To zachowanie jest oczekiwane.

Pierwszy przebieg polega na przeniesieniu większości zmian danych do udziału plików platformy Azure. Ta pierwsza kopia może chwilę potrwać. Zapoznaj się z sekcją Rozwiązywanie problemów, aby uzyskać więcej informacji na temat tego, co może mieć wpływ na szybkość narzędzia RoboCopy.

Po zakończeniu początkowego przebiegu ponownie uruchom polecenie.

Po raz drugi uruchomisz narzędzie RoboCopy dla tego samego udziału, zostanie ono zakończone szybciej, ponieważ musi tylko transportować zmiany, które wystąpiły od ostatniego uruchomienia. Można uruchamiać powtarzające się zadania dla tego samego udziału.

Jeśli weźmiesz pod uwagę akceptowalny przestój, musisz usunąć dostęp użytkownika do udziałów opartych na nas. Można to zrobić, wykonując wszystkie kroki, które uniemożliwiają użytkownikom zmianę struktury plików i folderów oraz zawartości. Przykładem jest wskazanie DFS-Namespace lokalizacji innej niż istniejąca lub zmiana głównych list ACL w udziale.

Uruchom jedną ostatnią rundę narzędzia RoboCopy. Spowoduje to odebranie wszelkich zmian, które mogły zostać pominięte. Czas wykonywania tego ostatniego kroku zależy od szybkości skanowania za pomocą narzędzia RoboCopy. Możesz oszacować czas (który jest równy przestojowi), mierząc czas poprzedniego uruchomienia.

Utwórz udostępnienie w folderze na serwerze Windows i ewentualnie dostosuj wdrożenie systemu plików DFS-N, aby na niego wskazywało. Pamiętaj, aby ustawić te same uprawnienia na poziomie udziału co w udziale SMB nas. Jeśli masz serwer NAS przyłączony do domeny klasy przedsiębiorstwa, identyfikatory SID użytkowników będą automatycznie dopasowane, ponieważ użytkownicy istnieją w usłudze Active Directory, a RoboCopy kopiuje pliki i metadane z pełną wiernością. Jeśli używasz użytkowników lokalnych na serwerze NAS, musisz ponownie utworzyć tych użytkowników jako użytkowników lokalnych systemu Windows Server i mapować istniejące identyfikatory SID RoboCopy przeniesione do systemu Windows Server do identyfikatorów SID nowych użytkowników lokalnych systemu Windows Server.

Zakończono migrację udziału/grupy udziałów do wspólnego katalogu głównego lub woluminu.

Możesz spróbować uruchomić kilka z tych kopii równolegle. Zalecamy przetwarzanie zakresu jednego udziału plików platformy Azure jednocześnie.

Troubleshoot

Szybkość i szybkość działania danego przebiegu narzędzia RoboCopy zależy od kilku czynników:

  • Liczba operacji we/wy na sekundę w magazynie źródłowym i docelowym
  • dostępna przepustowość sieci między źródłem a obiektem docelowym
  • możliwość szybkiego przetwarzania plików i folderów w przestrzeni nazw
  • liczba zmian między przebiegami narzędzia RoboCopy
  • rozmiar i liczba plików, które należy skopiować

Zagadnienia dotyczące liczby operacji we/wy na sekundę i przepustowości

W tej kategorii należy wziąć pod uwagę możliwości magazynu źródłowego, magazynu docelowego i sieci łączącej je. Maksymalna możliwa przepływność jest określana przez najwolniejsze z tych trzech składników. Upewnij się, że infrastruktura sieciowa jest skonfigurowana do obsługi optymalnej szybkości transferu do najlepszych możliwości.

Caution

Podczas kopiowania tak szybko, jak to możliwe, jest często najbardziej pożądane, rozważ użycie sieci lokalnej i urządzenia NAS w przypadku innych, często krytycznych dla działania firmy zadań.

Kopiowanie tak szybko, jak to możliwe, może nie być pożądane, gdy istnieje ryzyko, że migracja może zmonopolizować dostępne zasoby.

  • Zastanów się, kiedy najlepiej jest uruchamiać migracje: w ciągu dnia, poza godzinami pracy lub w weekendy.
  • Należy również rozważyć użycie funkcji QoS sieci w systemie Windows Server, aby ograniczyć szybkość narzędzia RoboCopy.
  • Unikaj niepotrzebnej pracy dla narzędzi migracji.

Narzędzie RoboCopy może wstawiać opóźnienia między pakietami, określając /IPG:n przełącznik n mierzony w milisekundach między pakietami RoboCopy. Użycie tego przełącznika może pomóc uniknąć monopolizacji zasobów na urządzeniach z ograniczeniami we/wy i zatłoczonych linków sieciowych.

/IPG:n Nie można używać do precyzyjnego ograniczania przepustowości sieci do określonego Mb/s. Zamiast tego należy użyć funkcji QoS sieci systemu Windows Server. Narzędzie RoboCopy całkowicie opiera się na protokole SMB dla wszystkich potrzeb sieciowych. Użycie protokołu SMB jest powodem, dla którego narzędzie RoboCopy nie może wpływać na samą przepływność sieci, ale może spowolnić jego użycie.

Podobna linia myśli ma zastosowanie do liczby operacji we/wy na sekundę obserwowanych na serwerze NAS. Rozmiar klastra na woluminie NAS, rozmiarach pakietów i tablicy innych czynników wpływa na obserwowaną liczbę operacji we/wy na sekundę. Wprowadzenie opóźnienia między pakietami jest często najprostszym sposobem kontrolowania obciążenia na serwerze NAS. Przetestuj wiele wartości, na przykład z około 20 milisekund (n=20) do wielokrotności tej liczby. Po wprowadzeniu opóźnienia możesz ocenić, czy inne aplikacje mogą teraz działać zgodnie z oczekiwaniami. Ta strategia optymalizacji umożliwi znalezienie optymalnej szybkości narzędzia RoboCopy w środowisku.

Szybkość przetwarzania

Narzędzie RoboCopy przejdzie przez przestrzeń nazw wskazywaną i ocenia poszczególne pliki i foldery pod kątem kopiowania. Każdy plik zostanie oceniony podczas początkowej kopii i podczas tworzenia zaległych kopii. Na przykład powtarzające się uruchomienia narzędzia RoboCopy /MIR względem tych samych lokalizacji źródłowych i docelowych. Te powtarzające się przebiegi są przydatne w celu zminimalizowania przestojów dla użytkowników i aplikacji oraz poprawy ogólnego współczynnika powodzenia migrowanych plików.

Często domyślnie rozważamy przepustowość jako najbardziej ograniczający czynnik migracji i może to być prawdziwe. Jednak możliwość wyliczania przestrzeni nazw może mieć wpływ na całkowity czas kopiowania jeszcze więcej dla większych przestrzeni nazw z mniejszymi plikami. Należy wziąć pod uwagę, że kopiowanie 1 TiB małych plików będzie trwać znacznie dłużej niż kopiowanie 1 TiB mniej, ale większych plików, przy założeniu, że wszystkie inne zmienne pozostają takie same. W związku z tym w przypadku migrowania dużej liczby małych plików może wystąpić powolne przesyłanie. Jest to oczekiwane zachowanie.

Przyczyną tej różnicy jest moc obliczeniowa wymagana do przejścia przez przestrzeń nazw. Narzędzie RoboCopy obsługuje kopie wielowątkowe za pośrednictwem parametru /MT:n , w którym n oznacza liczbę wątków do użycia. Dlatego podczas aprowizowania maszyny specjalnie dla narzędzia RoboCopy należy wziąć pod uwagę liczbę rdzeni procesora i ich relację z liczbą wątków, które zapewniają. Najczęściej są to dwa wątki na rdzeń. Liczba rdzeni i wątków maszyny jest ważnym punktem danych, który decyduje o tym, jakie wartości /MT:n wielowątkowa należy określić. Należy również rozważyć liczbę zadań narzędzia RoboCopy, które mają być uruchamiane równolegle na danej maszynie.

Więcej wątków skopiuje nasz przykład 1 TiB małych plików znacznie szybciej niż mniej wątków. Jednocześnie dodatkowe inwestycje w zasoby na naszym 1 TiB większych plików mogą nie przynieść proporcjonalnych korzyści. Duża liczba wątków podejmie próbę skopiowania większej liczby dużych plików za pośrednictwem sieci jednocześnie. Ta dodatkowa aktywność sieci zwiększa prawdopodobieństwo ograniczenia przepływności lub liczby operacji we/wy na sekundę magazynu.

Podczas pierwszego narzędzia RoboCopy do pustego miejsca docelowego lub różnicowego przebiegu z dużą częścią zmienionych plików prawdopodobnie przepustowość sieci jest ograniczona. Zacznij od dużej liczby wątków dla początkowego przebiegu. Duża liczba wątków, nawet poza aktualnie dostępnymi wątkami na maszynie, pomaga usycić dostępną przepustowość sieci. Kolejne uruchomienia /MIR są stopniowo dotknięte przez przetwarzanie elementów. Mniejsza liczba zmian w różnicowym przebiegu oznacza mniej transportu danych za pośrednictwem sieci. Szybkość jest teraz bardziej zależna od możliwości przetwarzania elementów przestrzeni nazw niż przenoszenia ich za pośrednictwem łącza sieciowego. W przypadku kolejnych przebiegów dopasuj wartość liczby wątków do liczby rdzeni procesora i liczby wątków na rdzeń. Rozważ, czy rdzenie muszą być zarezerwowane dla innych zadań, które może mieć serwer produkcyjny.

Tip

Zasada praktyczna: pierwsze uruchomienie narzędzia RoboCopy, które przeniesie dużą ilość danych przez sieć o większym opóźnieniu, zyskuje na zwiększeniu liczby wątków (/MT:n). Kolejne przebiegi będą kopiować mniej różnic i bardziej prawdopodobne jest, że przejdziesz z ograniczeń związanych z przepustowością sieci do ograniczeń związanych z mocą obliczeniową. W tych okolicznościach często lepiej jest dopasować liczbę wątków narzędzia RoboCopy do rzeczywiście dostępnych wątków na maszynie. Nadmierna aprowizacja w tym scenariuszu może prowadzić do większej liczby zmian kontekstu w procesorze, co może spowodować spowolnienie kopiowania.

Unikaj niepotrzebnej pracy

Unikaj zmian na dużą skalę w przestrzeni nazw. Na przykład przenoszenie plików między katalogami, zmienianie właściwości na dużą skalę lub zmienianie uprawnień (listy ACL systemu plików NTFS). Szczególnie zmiany listy ACL mogą mieć duży wpływ, ponieważ często mają kaskadowy wpływ zmian na pliki niższe w hierarchii folderów. Konsekwencje mogą być następujące:

  • rozszerzony czas wykonywania zadania RoboCopy, ponieważ każdy plik i folder, którego dotyczy zmiana listy ACL, musi zostać zaktualizowana
  • Ponowne kopiowanie przeniesionych wcześniej danych może wymagać ponownego skopiowania. Na przykład należy skopiować więcej danych, gdy struktury folderów zmieniają się po skopiowaniu plików wcześniej. Zadanie RoboCopy nie może "odtworzyć" zmiany przestrzeni nazw. Następne zadanie musi przeczyścić pliki wcześniej przetransportowane do starej struktury folderów i ponownie przekazać pliki w nowej strukturze folderów.

Innym ważnym aspektem jest efektywne użycie narzędzia RoboCopy. Za pomocą zalecanego skryptu RoboCopy utworzysz i zapiszesz plik dziennika pod kątem błędów. Mogą wystąpić błędy kopiowania i to jest normalne. Te błędy często sprawiają, że konieczne jest uruchomienie wielu rund narzędzia do kopiowania, takiego jak RoboCopy. Na przykład początkowe uruchomienie, powiedzmy z serwera NAS do DataBox lub z serwera do udziału plików platformy Azure, i jedno lub więcej dodatkowych uruchomień z przełącznikiem /MIR w celu wychwycenia i ponownej próby kopiowania plików, które nie zostały skopiowane.

Należy przygotować się do uruchamiania wielu rund narzędzia RoboCopy względem danego zakresu przestrzeni nazw. Kolejne przebiegi zakończą się szybciej, ponieważ mają mniej do skopiowania, ale są coraz bardziej ograniczone przez szybkość przetwarzania przestrzeni nazw. Po uruchomieniu wielu rund można przyspieszyć każdą rundę, nie mając narzędzia RoboCopy, spróbuj niepotrzebnie skopiować wszystko w danym przebiegu. Te przełączniki RoboCopy mogą mieć znaczącą różnicę:

  • /R:n n = częstotliwość ponawiania próby skopiowania pliku, który zakończył się niepowodzeniem
  • /W:n n = ile sekund oczekiwania między ponowną próbą

/R:5 /W:5 to rozsądne ustawienie, które można dostosować do swoich potrzeb. W tym przykładzie plik, który zakończył się niepowodzeniem, zostanie ponowiony pięć razy, a pięciosekundowy czas oczekiwania między ponownymi próbami. Jeśli nadal nie można skopiować pliku, następne zadanie narzędzia RoboCopy spróbuje ponownie. Często pliki, które zakończyły się niepowodzeniem, ponieważ są w użyciu lub z powodu problemów z przekroczeniem limitu czasu, mogą zostać pomyślnie skopiowane w ten sposób.

Zobacz także

  • Last updated on