Zarządzanie przepływem zadań w ramach Lakeflow Jobs

Niektóre zadania to po prostu lista zadań, które należy wykonać. Kolejność wykonywania zadań można kontrolować, określając zależności między nimi. Zadania można skonfigurować do uruchamiania w sekwencji lub równolegle.

Można jednak również tworzyć przepływy rozgałęziania, które obejmują zadania warunkowe, korektę błędów lub oczyszczanie. Lakeflow Jobs zapewnia funkcjonalność do kontrolowania przepływu zadań w ramach pracy. W poniższych tematach opisano sposoby kontrolowania przepływu zadań.

Ponowienia

Ponowne próby określają liczbę ponownych uruchomień określonego zadania, jeśli zadanie zakończy się niepowodzeniem z komunikatem o błędzie. Błędy są często przejściowe i rozwiązywane przez ponowne uruchomienie. Niektóre funkcje usługi Azure Databricks, takie jak ewolucja schematu ze Strukturalnym Strumieniowaniem, zakładają, że uruchamiasz zadania z ponownymi próbami, aby zresetować środowisko i umożliwić kontynuowanie przepływu pracy.

Jeśli określisz ponawianie próby dla zadania, zadanie zostanie uruchomione ponownie do określonej liczby razy, jeśli wystąpi błąd. Nie wszystkie konfiguracje zadań obsługują ponawianie prób zadania. Zobacz Ustaw zasady ponawiania.

Podczas uruchamiania w trybie wyzwalacza ciągłego usługa Databricks automatycznie ponawia próbę z wycofywaniem wykładniczym. Zobacz Jak są obsługiwane błędy dla zadań ciągłych?.

Uruchom, jeśli zadania warunkowe

Można użyć typu zadania Uruchom, jeśli, aby określić warunki dla późniejszych zadań na podstawie wyników innych zadań. Możesz dodawać zadania do swojej pracy i określać zadania zależne od zadań wykonywanych wcześniej. Na podstawie stanu tych zadań można skonfigurować co najmniej jedno podrzędne zadanie do uruchomienia. Zadania obsługują następujące zależności:

• Wszystko powiodło się
• Co najmniej jeden sukces
• Żaden nie zawiódł
• Wszystko gotowe
• Co najmniej jedno niepowodzenie
• Wszystkie nie powiodły się

Zobacz Konfigurowanie zależności zadań

zadania warunkowe if/else

Można użyć If/else typu zadania, aby określić warunki na podstawie określonej wartości. Zobacz Dodawanie logiki rozgałęziania do zadania za pomocą zadania If/else.

Zadania Lakeflow wspierają taskValues, które zdefiniujesz w swojej logice i umożliwiają zwracanie wyników pewnych obliczeń lub stanu z zadania do środowiska zadań. Można zdefiniować warunki If/else względem taskValues, parametrów zadania lub wartości dynamicznych.

Zadania Lakeflow obsługują następujące operandy dla instrukcji warunkowych.

• ==
• !=
• >
• >=
• <
• <=

Zobacz również:

• Użyj wartości zadań do przekazywania informacji między zadaniami
• Co to jest odwołanie do wartości dynamicznej?
• Parametryzacja zadań

Dla każdego zadania

Użyj zadania For each, aby uruchomić inne zadanie w pętli, przekazując inny zestaw parametrów do każdej iteracji zadania.

Aby dodać zadanie For each do projektu, należy zdefiniować zadanie For each oraz zagnieżdżone zadanie . Zagnieżdżone zadanie to zadanie do uruchomienia dla każdej iteracji zadania For each i jest jednym ze standardowych typów zadań usługi Databricks. Wiele metod jest obsługiwanych do przekazywania parametrów do zagnieżdżonego zadania.

Zobacz Użyj zadania For each aby uruchamiać inne zadanie w pętli.