Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
Note
Diese Informationen gelten für Databricks CLI-Versionen 0.205 und höher. Die Databricks CLI befindet sich in der öffentlichen Vorschau.
Die Verwendung von Databricks CLI unterliegt der Datenbricks-Lizenz - und Databricks-Datenschutzerklärung, einschließlich der Bestimmungen zu Nutzungsdaten.
Die pipelines Befehlsgruppe in der Databricks CLI enthält zwei Funktionssätze. Mit dem ersten Satz können Sie ein Pipelineprojekt und dessen Workflow verwalten. Mit dem zweiten Satz können Sie Details zu Pipelineobjekten in Databricks erstellen, bearbeiten, löschen, starten und anzeigen.
Informationen zu Pipelines finden Sie unter Lakeflow Spark Declarative Pipelines.
Verwalten von Pipelineprojekten
Mit den folgenden Befehlen können Sie Pipelines in Projekten verwalten.
Databricks-Pipelines bereitstellen
Stellen Sie Pipelines bereit, indem Sie alle im Projekt definierten Dateien in den Zielarbeitsbereich hochladen und die im Arbeitsbereich definierten Pipelines erstellen oder aktualisieren.
databricks pipelines deploy [flags]
Arguments
None
Options
--auto-approve
Überspringen sie interaktive Genehmigungen, die möglicherweise für die Bereitstellung erforderlich sind
--fail-on-active-runs
Schlagen Sie fehl, wenn bereits Pipelines in der Bereitstellung ausgeführt werden.
--force-lock
Erzwingen der Übernahme der Bereitstellungssperre
Databricks-Pipelines zerstören
Zerstören Eines Pipelineprojekts.
databricks pipelines destroy [flags]
Arguments
None
Options
--auto-approve
Überspringen interaktiver Genehmigungen für das Löschen von Pipelines
--force-lock
Erzwingen der Übernahme der Bereitstellungssperre
Databricks Pipelines Testlauf
Validiert die Korrektheit des Graphen der Pipeline, die durch KEY identifiziert wird. Materialisiert oder veröffentlicht keine Datensätze.
databricks pipelines dry-run [flags] [KEY]
Arguments
KEY
Der eindeutige Name der Pipeline, die trocken ausgeführt werden soll, wie in der YAML-Datei definiert. Wenn nur eine Pipeline im Projekt vorhanden ist, KEY ist sie optional, und die Pipeline wird automatisch ausgewählt.
Options
--no-wait
Warten Sie nicht, bis der Lauf abgeschlossen ist.
--restart
Starten Sie die Ausführung neu, wenn sie bereits ausgeführt wird
Databricks-Pipelines generieren
Generieren Sie die Konfiguration für eine vorhandene Spark-Pipeline.
Dieser Befehl sucht nach einer spark-pipeline.yml- oder *.spark-pipeline.yml-Datei im angegebenen Verzeichnis und generiert eine neue *.pipeline.yml-Konfigurationsdatei im resources-Ordner des Projekts, die die Pipeline definiert. Wenn mehrere spark-pipeline.yml Dateien vorhanden sind, geben Sie den vollständigen Pfad zu einer bestimmten *.spark-pipeline.yml Datei an.
databricks pipelines generate [flags]
Note
Informationen zum Generieren einer Konfiguration für eine vorhandene Pipeline im Databricks-Arbeitsbereich finden Sie unter databricks bundle generate pipeline und Generate configuration for an existing job or pipeline using the Databricks CLI.
Options
--existing-pipeline-dir
Pfad zum vorhandenen Pipelineverzeichnis in src (z. B. src/my_pipeline).
--force
Überschreiben Sie vorhandene Pipelinekonfigurationsdatei.
Examples
Das folgende Beispiel sucht im aktuellen Verzeichnis und liest src/my_pipeline/spark-pipeline.ymlund erstellt dann eine Konfigurationsdatei resources/my_pipeline.pipeline.yml , die die Pipeline definiert:
databricks pipelines generate --existing-pipeline-dir src/my_pipeline
Verlauf der Databricks-Pipelines
Abrufen vergangener Ausführungen für eine Pipeline, die durch KEY identifiziert wird.
databricks pipelines history [flags] [KEY]
Arguments
KEY
Der eindeutige Name der Pipeline, wie in der YAML-Datei definiert. Wenn nur eine Pipeline im Projekt vorhanden ist, KEY ist sie optional, und die Pipeline wird automatisch ausgewählt.
Options
--end-time string
Filteraktualisierungen vor diesem Zeitpunkt (Format: 2025-01-15T10:30:00Z)
--start-time string
Filteraktualisierungen nach diesem Zeitpunkt (Format: 2025-01-15T10:30:00Z)
databricks pipelines init
Initialisieren sie ein neues Pipelineprojekt.
Ein Lernprogramm, das das Erstellen, Bereitstellen und Ausführen eines Pipelineprojekts mithilfe der Databricks CLI durchläuft, finden Sie unter Develop Lakeflow Spark Declarative Pipelines with Databricks Asset Bundles.
databricks pipelines init [flags]
Arguments
None
Options
--config-file string
JSON-Datei mit Schlüsselwertpaaren von Eingabeparametern, die für die Vorlageninitialisierung erforderlich sind
--output-dir string
Verzeichnis, in das die initialisierte Vorlage geschrieben werden soll
Databricks-Pipelinesprotokolle
Abrufen von Ereignissen für die Pipeline, die durch KEY identifiziert wurde. Standardmäßig zeigt dieser Befehl die Ereignisse des letzten Updates der Pipeline an.
databricks pipelines logs [flags] [KEY]
Arguments
KEY
Der eindeutige Name der Pipeline, wie in der YAML-Datei definiert. Wenn nur eine Pipeline im Projekt vorhanden ist, KEY ist sie optional, und die Pipeline wird automatisch ausgewählt.
Options
--end-time string
Filtern sie nach Ereignissen, die sich vor dieser Endzeit befinden (Format: 2025-01-15T10:30:00Z)
--event-type strings
Filtern von Ereignissen nach Einer Liste von Ereignistypen
--level strings
Ereignisse filtern nach einer Liste von Protokollebenen (INFO, WARN, ERROR, METRICS)
-n, --number int
Anzahl der ereignisse, die zurückgegeben werden sollen
--start-time string
Nach Ereignissen filtern, die nach dieser Startzeit liegen (Format: 2025-01-15T10:30:00Z)
--update-id string
Filtert Ereignisse nach Update-ID. Wenn nicht angegeben, wird die neueste Update-ID verwendet.
Examples
databricks pipelines logs pipeline-name --update-id update-1 -n 10
databricks pipelines logs pipeline-name --level ERROR,METRICS --event-type update_progress --start-time 2025-01-15T10:30:00Z
Databricks-Pipelines werden geöffnet
Öffnen Sie eine Pipeline im Browser, die durch KEY identifiziert wird.
databricks pipelines open [flags] [KEY]
Arguments
KEY
Der eindeutige Name der zu öffnenden Pipeline, wie in der YAML-Datei definiert. Wenn nur eine Pipeline im Projekt vorhanden ist, KEY ist sie optional, und die Pipeline wird automatisch ausgewählt.
Options
--force-pull
Überspringen des lokalen Caches und Laden des Zustands aus dem Remotearbeitsbereich
Databricks-Pipelines werden ausgeführt
Führen Sie die pipeline aus, die durch KEY. Aktualisiert alle Tabellen in der Pipeline, sofern nicht anders angegeben.
databricks pipelines run [flags] [KEY]
Arguments
KEY
Der eindeutige Name der Pipeline, die ausgeführt werden soll, wie in der YAML-Datei definiert. Wenn nur eine Pipeline im Projekt vorhanden ist, KEY ist sie optional, und die Pipeline wird automatisch ausgewählt.
Options
--full-refresh strings
Liste der Tabellen zum Zurücksetzen und Neukompilieren
--full-refresh-all
Führen Sie einen vollständigen Graph-Zurücksetzen und eine Neuberechnung durch.
--no-wait
Warten Sie nicht, bis der Lauf abgeschlossen ist.
--refresh strings
Liste der auszuführenden Tabellen
--restart
Starten Sie die Ausführung neu, wenn sie bereits ausgeführt wird
Databricks-Pipelines beenden
Stoppen Sie die Pipeline, wenn sie ausgeführt wird, identifiziert durch KEY oder PIPELINE_ID. Wenn es keine aktive Aktualisierung für die Pipeline gibt, ist diese Anfrage ein No-Op.
databricks pipelines stop [KEY|PIPELINE_ID] [flags]
Arguments
KEY
Der eindeutige Name der zu beendenden Pipeline, wie in der YAML-Datei definiert. Wenn nur eine Pipeline im Projekt vorhanden ist, KEY ist sie optional, und die Pipeline wird automatisch ausgewählt.
PIPELINE_ID
Die UUID der Pipeline, die beendet werden soll.
Options
--no-wait
nicht warten, bis der Zustand 'IDLE' erreicht ist
--timeout duration
maximale Zeitspanne, um den IDLE-Zustand zu erreichen (Standard 20m0s)
Verwalten von Pipelineobjekten
Mit den folgenden Befehlen können Sie Pipelineobjekte in Databricks verwalten.
Databricks-Pipelines erstellen
Erstellen Sie eine neue Datenverarbeitungspipeline basierend auf der angeforderten Konfiguration. Bei erfolgreicher Ausführung gibt dieser Befehl die ID der neuen Pipeline zurück.
databricks pipelines create [flags]
Arguments
None
Options
--json JSON
Die inlinefähige JSON-Zeichenfolge oder die @path zur JSON-Datei mit dem Body der Anfrage.
Databricks-Pipelines löschen
Löschen einer Pipeline.
databricks pipelines delete PIPELINE_ID [flags]
Arguments
PIPELINE_ID
Die zu löschende Pipeline.
Options
Abrufen von Databricks-Pipelines
Abrufen einer Pipeline.
databricks pipelines get PIPELINE_ID [flags]
Arguments
PIPELINE_ID
Die Pipeline, die abgerufen werden soll.
Options
databricks Pipelines Get-Update-Befehl
Abrufen eines Updates aus einer aktiven Pipeline.
databricks pipelines get-update PIPELINE_ID UPDATE_ID [flags]
Arguments
PIPELINE_ID
Die ID (Identifikationsnummer) der Pipeline.
UPDATE_ID
Die ID des Updates.
Options
Verwenden Sie den Befehl "databricks pipelines list-pipeline-events", um Pipeline-Ereignisse aufzulisten.
Dient zum Abrufen von Ereignissen für eine Pipeline.
databricks pipelines list-pipeline-events PIPELINE_ID [flags]
Arguments
PIPELINE_ID
Die Pipeline, für die Ereignisse abgerufen werden sollen.
Options
--filter string
Kriterien zum Auswählen einer Teilmenge von Ergebnissen, ausgedrückt mithilfe einer SQL-ähnlichen Syntax.
--max-results int
Maximale Anzahl von Einträgen, die auf einer einzelnen Seite zurückgegeben werden sollen.
--page-token string
Über den vorherigen Aufruf angezeigtes Seitentoken.
databricks pipelines list-pipelines
Im Delta Live Tables-System definierte Pipelines auflisten.
databricks pipelines list-pipelines [flags]
Arguments
None
Options
--filter string
Wählen Sie eine Teilmenge der Ergebnisse basierend auf den angegebenen Kriterien aus.
--max-results int
Die maximale Anzahl von Einträgen, die auf einer einzelnen Seite zurückgegeben werden sollen.
--page-token string
Über den vorherigen Aufruf angezeigtes Seitentoken.
Databricks-Pipelines Listenaktualisierungen
Updates für eine aktive Pipeline auflisten.
databricks pipelines list-updates PIPELINE_ID [flags]
Arguments
PIPELINE_ID
Die Pipeline, für die Aktualisierungen zurückgegeben werden sollen.
Options
--max-results int
Maximale Anzahl von Einträgen, die auf einer einzelnen Seite zurückgegeben werden sollen.
--page-token string
Über den vorherigen Aufruf angezeigtes Seitentoken.
--until-update-id string
Wenn vorhanden, werden Updates bis einschließlich dieser update_id zurückgegeben.
Databricks-Pipelines Start-Update-Aufforderung
Starten einer neuen Aktualisierung für die Pipeline. Wenn bereits ein aktives Update für die Pipeline vorhanden ist, schlägt die Anforderung fehl, und das aktive Update wird weiterhin ausgeführt.
databricks pipelines start-update PIPELINE_ID [flags]
Arguments
PIPELINE_ID
Die Pipeline, für die eine Aktualisierung gestartet werden soll.
Options
--cause StartUpdateCause
Unterstützte Werte: [API_Aufruf, Aufgaben_Erstellung, Erneuter_Versuch_bei_Fehler, Schema_Änderung, Service_Aktualisierung, Benutzer_Aktion]
--full-refresh
Wenn true, werden bei dieser Aktualisierung alle Tabellen zurückgesetzt, bevor sie ausgeführt wird.
--json JSON
Die inlinefähige JSON-Zeichenfolge oder die @path zur JSON-Datei mit dem Body der Anfrage.
--validate-only
Wenn dies der Fall ist, überprüft dieses Update nur die Richtigkeit des Pipelinequellcodes, aber es werden keine Datasets materialisiert oder veröffentlicht.
Aktualisierung von Databricks Pipelines
Aktualisieren Sie eine Pipeline mit der bereitgestellten Konfiguration.
databricks pipelines update PIPELINE_ID [flags]
Arguments
PIPELINE_ID
Eindeutiger Bezeichner für diese Pipeline.
Options
--allow-duplicate-names
Bei "false" schlägt die Bereitstellung fehl, wenn sich der Name geändert hat und mit dem Namen einer anderen Pipeline in Konflikt steht.
--budget-policy-id string
Budgetpolitik dieser Pipeline.
--catalog string
Ein Katalog innerhalb des Unity-Katalogs, in dem Daten aus dieser Pipeline veröffentlicht werden können.
--channel string
Der Veröffentlichungszweig der Lakeflow Spark Declarative Pipelines gibt an, welche Version verwendet werden soll.
--continuous
Gibt an, ob die Pipeline fortlaufend ist oder ausgelöst wird.
--development
Gibt an, ob sich die Pipeline im Entwicklungsmodus befindet.
--edition string
Pipeline-Produktversion.
--expected-last-modified int
Wenn vorhanden, die letzte Änderungszeit der Pipelineeinstellungen vor der Bearbeitung.
--id string
Eindeutiger Bezeichner für diese Pipeline.
--json JSON
Die inlinefähige JSON-Zeichenfolge oder die @path zur JSON-Datei mit dem Body der Anfrage.
--name string
Benutzerfreundlicher Bezeichner für diese Pipeline.
--photon
Gibt an, ob Photon für diese Pipeline aktiviert ist.
--pipeline-id string
Eindeutiger Bezeichner für diese Pipeline.
--schema string
Das Standardschema (Datenbank), in dem Tabellen gelesen oder veröffentlicht werden.
--serverless
Gibt an, ob die serverlose Berechnung für diese Pipeline aktiviert ist.
--storage string
DBFS-Stammverzeichnis zum Speichern von Prüfpunkten und Tabellen.
--target string
Zielschema (Datenbank), dem Tabellen in dieser Pipeline hinzugefügt werden sollen.
databricks pipelines Berechtigungsebenen abrufen
Pipeline-Berechtigungsstufen abrufen.
databricks pipelines get-permission-levels PIPELINE_ID [flags]
Arguments
PIPELINE_ID
Die Pipeline, für die Berechtigungen abgerufen oder verwaltet werden sollen.
Options
Databricks-Pipelines: Berechtigungen abrufen
Abrufen der Berechtigungen für eine Pipeline. Pipelines können Berechtigungen von ihrem Stammobjekt erben.
databricks pipelines get-permissions PIPELINE_ID [flags]
Arguments
PIPELINE_ID
Die Pipeline, für die Berechtigungen abgerufen oder verwaltet werden sollen.
Options
databricks pipelines set-permissions (Berechtigungen festlegen)
Festlegen von Berechtigungen für Pipelines.
Legt Berechtigungen für ein Objekt fest, wobei vorhandene Berechtigungen ersetzt werden, sofern vorhanden. Löscht alle direkten Berechtigungen, wenn keine angegeben sind. Objekte können Berechtigungen vom Stammobjekt erben.
databricks pipelines set-permissions PIPELINE_ID [flags]
Arguments
PIPELINE_ID
Die Pipeline, für die Berechtigungen abgerufen oder verwaltet werden sollen.
Options
--json JSON
Die inlinefähige JSON-Zeichenfolge oder die @path zur JSON-Datei mit dem Body der Anfrage.
Databricks-Pipelines Aktualisierungsberechtigungen
Aktualisieren Sie die Berechtigungen für eine Pipeline. Pipelines können Berechtigungen von ihrem Stammobjekt erben.
databricks pipelines update-permissions PIPELINE_ID [flags]
Arguments
PIPELINE_ID
Die Pipeline, für die Berechtigungen abgerufen oder verwaltet werden sollen.
Options
--json JSON
Die inlinefähige JSON-Zeichenfolge oder die @path zur JSON-Datei mit dem Body der Anfrage.
Globale Kennzeichnungen
--debug
Gibt an, ob die Debugprotokollierung aktiviert werden soll.
-h oder --help
Hilfe für die Databricks CLI oder die zugehörige Befehlsgruppe oder den zugehörigen Befehl anzeigen.
--log-file Schnur
Eine Zeichenfolge, die die Datei darstellt, in die Ausgabeprotokolle geschrieben werden sollen. Wenn dieses Flag nicht angegeben ist, werden Ausgabeprotokolle standardmäßig in stderr geschrieben.
--log-format Format
Der Protokollformattyp text oder json. Der Standardwert ist text.
--log-level Schnur
Eine Zeichenfolge, die die Protokollformatebene darstellt. Wenn nicht angegeben, ist die Protokollformatebene deaktiviert.
-o, --output Typ
Der Befehlsausgabetyp text oder json. Der Standardwert ist text.
-p, --profile Schnur
Der Name des Profils in der ~/.databrickscfg Datei, das zum Ausführen des Befehls verwendet werden soll. Wenn dieses Flag nicht angegeben wird, wird, falls vorhanden, das Profil mit dem Namen DEFAULT verwendet.
--progress-format Format
Das Format zum Anzeigen von Statusprotokollen: default, , append, inplaceoder json
-t, --target Schnur
Falls zutreffend, das zu verwendende Bündelziel