Udostępnij przez


Przenoszenie plików za pomocą usługi Azure Data Factory

DOTYCZY: Azure Data Factory Azure Synapse Analytics

Napiwek

Wypróbuj usługę Data Factory w usłudze Microsoft Fabric — rozwiązanie analityczne typu all-in-one dla przedsiębiorstw. Usługa Microsoft Fabric obejmuje wszystko, od przenoszenia danych do nauki o danych, analizy w czasie rzeczywistym, analizy biznesowej i raportowania. Dowiedz się, jak bezpłatnie rozpocząć nową wersję próbną !

Działanie kopiowania usługi ADF ma wbudowaną obsługę scenariusza "przenoszenia" podczas kopiowania plików binarnych między magazynami danych. Sposobem włączenia tej opcji jest ustawienie wartości "deleteFilesAfterCompletion" jako true w działaniu kopiowania. W ten sposób działanie kopiowania spowoduje usunięcie plików z magazynu źródeł danych po zakończeniu zadania.

W tym artykule opisano szablon rozwiązania jako inne podejście wykorzystujące elastyczny przepływ sterowania usługi ADF oraz działanie kopiowania i usuwania w celu osiągnięcia tego samego scenariusza. Jeden z typowych scenariuszy użycia tego szablonu: pliki są stale przenoszone do folderu docelowego magazynu źródłowego. Tworząc wyzwalacz harmonogramu, potok ADF może okresowo przenosić te pliki ze źródła do docelowego magazynu. Sposób, w jaki potok usługi ADF osiąga "przenoszenie plików", polega na pobieraniu plików z folderu docelowego, kopiowaniu każdego z nich do innego folderu w sklepie docelowym, a następnie usuwaniu tych samych plików z folderu docelowego w sklepie źródłowym.

Uwaga

Należy pamiętać, że ten szablon jest przeznaczony do przenoszenia plików, a nie przenoszenia folderów. Jeśli chcesz przenieść folder, zmieniając zestaw danych tak, aby zawierał tylko ścieżkę folderu, a następnie używając działania kopiowania i usuwania, aby odwoływać się do tego samego zestawu danych reprezentującego folder, należy zachować ostrożność. Jest to spowodowane tym, że należy upewnić się, że nie będzie nowych plików przychodzących do folderu między operacją kopiowania a operacją usuwania. Jeśli w momencie, gdy czynność kopiowania właśnie zakończyła swoje zadanie, ale czynność usuwania nie została jeszcze rozpoczęta, pojawią się nowe pliki w folderze, możliwe jest, że czynność usuwania usunie ten nowy przychodzący plik, który NIE został jeszcze skopiowany do miejsca docelowego, poprzez usunięcie całego folderu.

Informacje o tym szablonie rozwiązania

Ten szablon pobiera pliki ze źródłowego magazynu opartego na plikach. Następnie przenosi każdy z nich do magazynu docelowego.

Szablon zawiera pięć działań:

  • GetMetadata pobiera listę obiektów, w tym pliki i podfoldery z folderu w magazynie źródłowym. Nie będzie pobierać obiektów rekursywnie.
  • Filtruj listę obiektów z działania GetMetadata , aby wybrać tylko pliki.
  • Program ForEach pobiera listę plików z działania Filtr, a następnie wykonuje iterację po liście i przekazuje każdy plik do działania działanie Kopiuj i Usuń.
  • Kopiuje jeden plik ze źródła do docelowego miejsca przechowywania danych.
  • Usunięcie powoduje usunięcie tego samego pliku z magazynu źródłowego.

Szablon definiuje cztery parametry:

  • SourceStore_Location to ścieżka folderu magazynu źródłowego, z którego chcesz przenieść pliki.
  • SourceStore_Directory to ścieżka podfolderu magazynu źródłowego, z którego chcesz przenieść pliki.
  • DestinationStore_Location to ścieżka folderu magazynu docelowego, do którego chcesz przenieść pliki.
  • DestinationStore_Directory to ścieżka podfolderu magazynu docelowego, do którego chcesz przenieść pliki.

Jak używać tego szablonu rozwiązania

  1. Przejdź do szablonu Przenoszenie plików . Wybierz istniejące połączenie lub utwórz nowe połączenie ze źródłowym magazynem plików, z którego chcesz przenieść pliki. Należy pamiętać, że DataSource_Folder i DataSource_File odwołują się do tego samego połączenia źródłowego magazynu plików.

    Zrzut ekranu przedstawiający tworzenie nowego połączenia ze źródłem.

  2. Wybierz istniejące połączenie lub utwórz nowe połączenie z docelowym magazynem plików, do którego chcesz przenieść pliki.

    Zrzut ekranu przedstawiający tworzenie nowego połączenia z miejscem docelowym.

  3. Wybierz zakładkę Użyj tego szablonu.

  4. Zobaczysz potok danych, jak w poniższym przykładzie:

    Zrzut ekranu przedstawiający potok.

  5. Wybierz pozycję Debuguj, wprowadź parametry, a następnie wybierz pozycję Zakończ. Parametry to ścieżka folderu, do której chcesz przenieść pliki, oraz ścieżkę folderu, do której chcesz przenieść pliki.

    Zrzut ekranu przedstawiający miejsce, w którym można uruchomić potok.

  6. Przejrzyj wyniki.

    Zrzut ekranu przedstawiający wynik uruchomienia potoku.