Konfigurieren und Bearbeiten von Vorgängen in Lakeflow-Aufträgen

Dieser Artikel konzentriert sich auf Anweisungen zum Erstellen, Konfigurieren und Bearbeiten von Aufgaben mithilfe der Arbeitsbereich-UI "Aufträge & Pipelines ".

Azure Databricks verwaltet Aufgaben als Komponenten von Lakeflow-Aufträgen. Ein Auftrag umfasst mindestens eine Aufgabe. Sie erstellen einen neuen Auftrag auf der Benutzeroberfläche des Arbeitsbereichs, indem Sie die erste Aufgabe konfigurieren. Informationen zum Konfigurieren eines neuen Auftrags finden Sie unter Konfigurieren und Bearbeiten von Lakeflow-Aufträgen.

Jeder Aufgabe ist eine Compute-Ressource zugeordnet, auf der die Aufgabenlogik ausgeführt wird. Wenn Sie serverlos arbeiten, konfiguriert Azure Databricks Ihre Compute-Ressourcen. Wenn Sie serverlose nicht verwenden, lesen Sie Konfigurieren von Compute für Aufträge.

Azure Databricks verfügt über weitere Einstiegspunkte und Tools für die Aufgabenkonfiguration, wie etwa folgende:

• REST-API-Referenz für Aufträge
• Was ist die Databricks-CLI?
• Erstellen und Verwalten geplanter Notebookaufträge

Erstellen oder Konfigurieren einer Aufgabe

Um eine vorhandene Aufgabe zu bearbeiten oder eine neue Aufgabe mit der Benutzeroberfläche des Arbeitsbereichs hinzuzufügen, wählen Sie anhand der folgenden Schritte einen vorhandenen Auftrag aus:

1. Klicken Sie in der Randleiste Ihres Azure Databricks-Arbeitsbereichs auf Aufträge und Pipelines.
2. Wählen Sie optional die Filter "Jobs " und "Owned by me" aus .
3. Klicken Sie auf den Name-Link Ihres Jobs.
4. Klicken Sie auf die Registerkarte Aufgaben. Das Aufgabendiagramm wird angezeigt.
5. Um eine Aufgabe zu bearbeiten, klicken Sie auf den Aufgabennamen. Die Aufgabenkonfiguration wird unterhalb des Aufgabendiagramms angezeigt.
6. Um eine Aufgabe hinzuzufügen, klicken Sie auf .

Arten von Aufgaben

Konfigurationsoptionen und Anweisungen variieren je nach Aufgabe. Die folgenden Aufgabentypen stehen zur Verfügung:

• Notizbuch
• Python-Skript
• Python Wheel
• SQL
• Rohrleitung
• Dashboards
• Power BI
• dbt
• dbt-Plattform (Beta)
• JAR
• Spark-Einreichung
• Auftrag ausführen
• Wenn/sonst
• Für jede

Klonen einer Aufgabe

Klonen Sie Aufgaben, um alle Konfigurationen einer bestehenden Aufgabe zu kopieren, einschließlich Upstream-Abhängigkeiten.

Um eine Aufgabe zu klonen, gehen Sie folgendermaßen vor:

1. Wählen Sie die Aufgabe im Aufgabendiagramm aus.
2. Klicken Sie auf .
3. Legen Sie einen Namen für die geklonte Aufgabe fest, und klicken Sie auf Klonen.

Löschen einer Aufgabe

Um eine Aufgabe zu löschen, gehen Sie folgendermaßen vor:

1. Wählen Sie die Aufgabe im Aufgabendiagramm aus.
2. Klicken Sie und wählen Sie Aufgabe löschen aus.

Kopieren eines Aufgabenpfads

Bei bestimmten Aufgabentypen, z. B. Notebookaufgaben, können Sie den Pfad zum Quellcode der Aufgabe kopieren:

1. Klicken Sie auf die Registerkarte Aufgaben.
2. Wählen Sie die Aufgabe aus, die den zu kopierenden Pfad enthält.
3. Klicken Sie auf neben dem Aufgabenpfad, um den Pfad in die Zwischenablage zu kopieren.

Erweiterte Aufgabeneinstellungen

Die folgenden erweiterten Einstellungen steuern Wiederholungen für fehlgeschlagene Aufgaben und Timeoutrichtlinien für nicht reagierende Aufgaben.

Festlegen einer Wiederholungsrichtlinie

Die Standardeinstellung für Aufgabenwiederholungen hängt von der Auftragskonfiguration ab. Bei den meisten Konfigurationen werden in der Standardeinstellung bei Fehlschlagen keine Aufgaben wiederholt.

Serverlose Aufträge optimieren standardmäßig die Wiederholungsversuche. Siehe Konfigurieren der automatischen Optimierung für serverloses Computing, um Wiederholungen zu verbieten

Fortlaufende Aufträge verwenden eine exponentielle Backoff-Wiederholungsrichtlinie. Siehe Wie werden Fehler bei fortlaufenden Aufträgen behandelt?.

Um eine Richtlinie zu konfigurieren, die bestimmt, wann und wie oft fehlerhafte Aufgabenausführungen wiederholt werden, klicken Sie neben Wiederholungen auf + Hinzufügen.

Das Wiederholungsintervall wird in Millisekunden zwischen dem Start der fehlgeschlagenen Ausführung und der nachfolgenden Wiederholungsausführung berechnet.

Konfigurieren von Schwellenwerten für vorgangsausführungsdauer oder Streaming-Backlogmetriken

Sie können optionale Schwellenwerte für die Dauer der Aufgabenausführung oder Streaming-Backlogmetriken konfigurieren. Um die Schwellenwerte für Dauer oder Streamingmetrik zu konfigurieren, klicken Sie im Aufgabenkonfigurationsbereich auf Metrische Schwellenwerte.

Um Schwellenwerte für die Vorgangsdauer zu konfigurieren, einschließlich erwarteter und maximaler Abschlusszeiten für den Vorgang, wählen Sie im Dropdown-Menü "Metrik" die Option "Laufzeit" aus. Geben Sie im Feld "Warnung " eine Dauer ein, um die erwartete Fertigstellungszeit der Vorgänge zu konfigurieren. Wenn die Ausführung der Aufgabe diesen Schwellenwert überschreitet, wird ein Ereignis ausgelöst. Um eine maximale Abschlusszeit für eine Aufgabe zu konfigurieren, geben Sie die maximale Dauer in das Feld Timeout ein. Wenn die Aufgabe nicht innerhalb dieses Zeitraums abgeschlossen wird, legt Azure Databricks den Auftragsstatus auf „Zeitüberschreitung“ fest.

Um einen Schwellenwert für eine Streaming-Backlog-Metrik zu konfigurieren, wählen Sie die Metrik im Dropdownmenü Metrik aus, und geben Sie einen Wert für den Schwellenwert ein. Informationen zu den spezifischen Metriken, die von einer Streamingquelle unterstützt werden, finden Sie unter Anzeigen von Metriken für Streamingaufgaben.

Geben Sie im Feld "Warnung " eine Dauer ein, um die erwartete Fertigstellungszeit des Vorgangs zu konfigurieren. Wenn die Aufgabe diesen Schwellenwert überschreitet, wird ein Ereignis ausgelöst. Sie können dieses Ereignis verwenden, um benachrichtigt zu werden, wenn eine Aufgabe langsam ausgeführt wird. Siehe Konfigurieren von Benachrichtigungen für langsame Aufträge.

Um eine maximale Abschlusszeit für eine Aufgabe zu konfigurieren, geben Sie die maximale Dauer in das Feld Timeout ein. Wenn die Aufgabe nicht innerhalb dieses Zeitraums abgeschlossen wird, legt Azure Databricks den Auftragsstatus auf „Zeitüberschreitung“ fest.

Wenn ein Ereignis ausgelöst wird, weil ein Schwellenwert überschritten wird, können Sie das Ereignis verwenden, um eine Benachrichtigung zu senden. Siehe Konfigurieren von Benachrichtigungen für langsame Aufträge.