Notitie
Voor toegang tot deze pagina is autorisatie vereist. U kunt proberen u aan te melden of de directory te wijzigen.
Voor toegang tot deze pagina is autorisatie vereist. U kunt proberen de mappen te wijzigen.
Note
Deze informatie is van toepassing op Databricks CLI-versies 0.205 en hoger. De Databricks CLI bevindt zich in openbare preview.
Databricks CLI-gebruik is onderhevig aan de Databricks-licentie en de privacyverklaring van Databricks, met inbegrip van alle bepalingen voor gebruiksgegevens.
De pipelines opdrachtgroep in de Databricks CLI bevat twee sets functionaliteit. Met de eerste set kunt u een pijplijnproject en de bijbehorende werkstroom beheren. Met de tweede set kunt u details over pijplijnobjecten in Databricks maken, bewerken, verwijderen, starten en weergeven.
Zie Lakeflow Spark-declaratieve pijplijnen voor meer informatie over pijplijnen.
Pijplijnprojecten beheren
Met de volgende opdrachten kunt u pijplijnen in projecten beheren.
Databricks-pijplijnen implementeren
Implementeer pijplijnen door alle bestanden die in het project zijn gedefinieerd, te uploaden naar de doelwerkruimte en de pijplijnen te maken of bij te werken die zijn gedefinieerd in de werkruimte.
databricks pipelines deploy [flags]
Arguments
None
Options
--auto-approve
Interactieve goedkeuringen overslaan die mogelijk vereist zijn voor implementatie
--fail-on-active-runs
Faal als er pipelines actief zijn in de implementatie
--force-lock
Overname van implementatievergrendeling afdwingen
Databricks-pijplijnen vernietigen
Een pijplijnproject vernietigen.
databricks pipelines destroy [flags]
Arguments
None
Options
--auto-approve
Interactieve goedkeuringen overslaan voor het verwijderen van pijplijnen
--force-lock
Overname van implementatievergrendeling afdwingen
droge uitvoering van databricks-pijplijnen
Valideert de juistheid van de grafiek van de pijplijn, geïdentificeerd door KEY. Er worden geen gegevenssets gerealiseerd of gepubliceerd.
databricks pipelines dry-run [flags] [KEY]
Arguments
KEY
De unieke naam van de pijplijn om te drogen, zoals gedefinieerd in het YAML-bestand. Als er slechts één pijplijn in het project is, KEY is dit optioneel en wordt de pijplijn automatisch geselecteerd.
Options
--no-wait
Wacht niet tot de uitvoering is voltooid
--restart
Start de uitvoering opnieuw als deze al wordt uitgevoerd
Databricks-pijplijnen genereren
Genereer configuratie voor een bestaande Spark-pijplijn.
Met deze opdracht wordt gezocht naar een spark-pipeline.yml of *.spark-pipeline.yml bestand in de opgegeven map en wordt een nieuw *.pipeline.yml configuratiebestand gegenereerd in de resources map van het project waarmee de pijplijn wordt gedefinieerd. Als er meerdere spark-pipeline.yml bestanden bestaan, geeft u het volledige pad naar een specifiek *.spark-pipeline.yml bestand op.
databricks pipelines generate [flags]
Note
Als u een configuratie voor een bestaande pijplijn in de Databricks-werkruimte wilt genereren, raadpleegt u databricks-bundel pijplijn genereren en configuratie genereren voor een bestaande taak of pijplijn met behulp van de Databricks CLI.
Options
--existing-pipeline-dir
Pad naar de bestaande pijplijnmap in src (bijvoorbeeld src/my_pipeline).
--force
Overschrijf het bestaande configuratiebestand voor pijplijnen.
Voorbeelden
In het volgende voorbeeld wordt in de huidige map gezocht en gelezen src/my_pipeline/spark-pipeline.ymlen wordt vervolgens een configuratiebestand resources/my_pipeline.pipeline.yml gemaakt waarmee de pijplijn wordt gedefinieerd:
databricks pipelines generate --existing-pipeline-dir src/my_pipeline
Geschiedenis van databricks-pijplijnen
Haal eerdere uitvoeringen op voor een pijplijn die wordt geïdentificeerd door KEY.
databricks pipelines history [flags] [KEY]
Arguments
KEY
De unieke naam van de pijplijn, zoals gedefinieerd in het YAML-bestand. Als er slechts één pijplijn in het project is, KEY is dit optioneel en wordt de pijplijn automatisch geselecteerd.
Options
--end-time string
Updates filteren vóór deze tijd (opmaak: 2025-01-15T10:30:00Z)
--start-time string
Updates filteren na deze tijd (notatie: 2025-01-15T10:30:00Z)
databricks-pijplijnen init
Initialiseer een nieuw pijplijnproject.
Zie Declaratieve Lakeflow Spark-pijplijnen ontwikkelen met Databricks Asset Bundles voor een zelfstudie die u begeleidt bij het maken, implementeren en uitvoeren van een pipeline-project met behulp van de Databricks CLI.
databricks pipelines init [flags]
Arguments
None
Options
--config-file string
JSON-bestand met sleutel-waardeparen van invoerparameters vereist voor sjabloon initialisatie
--output-dir string
Map om de geïnitialiseerde sjabloon in op te slaan
databricks-pijplijnenlogboeken
Gebeurtenissen ophalen voor de pijplijn die is geïdentificeerd door KEY. Deze opdracht toont standaard de gebeurtenissen van de meest recente update van de pijplijn.
databricks pipelines logs [flags] [KEY]
Arguments
KEY
De unieke naam van de pijplijn, zoals gedefinieerd in het YAML-bestand. Als er slechts één pijplijn in het project is, KEY is dit optioneel en wordt de pijplijn automatisch geselecteerd.
Options
--end-time string
Filteren op gebeurtenissen die vóór deze eindtijd vallen (notatie: 2025-01-15T10:30:00Z)
--event-type strings
Gebeurtenissen filteren op lijst met gebeurtenistypen
--level strings
Gebeurtenissen filteren op lijst met logboekniveaus (INFO, WARN, ERROR, METRICS)
-n, --number int
Aantal gebeurtenissen dat moet worden geretourneerd
--start-time string
Filteren op gebeurtenissen die zich na deze begintijd bevinden (opmaak: 2025-01-15T10:30:00Z)
--update-id string
Filter gebeurtenissen op update-id. Als dit niet is opgegeven, gebruikt u de meest recente update-id
Voorbeelden
databricks pipelines logs pipeline-name --update-id update-1 -n 10
databricks pipelines logs pipeline-name --level ERROR,METRICS --event-type update_progress --start-time 2025-01-15T10:30:00Z
databricks-pijplijnen geopend
Open een pijplijn in de browser, geïdentificeerd door KEY.
databricks pipelines open [flags] [KEY]
Arguments
KEY
De unieke naam van de pijplijn die moet worden geopend, zoals gedefinieerd in het YAML-bestand. Als er slechts één pijplijn in het project is, KEY is dit optioneel en wordt de pijplijn automatisch geselecteerd.
Options
--force-pull
Lokale cache overslaan en de status laden vanuit de externe werkruimte
Databricks-pijplijnen worden uitgevoerd
Voer de pijplijn uit die is geïdentificeerd door KEY. Alle tabellen in de pijplijn worden vernieuwd, tenzij anders is opgegeven.
databricks pipelines run [flags] [KEY]
Arguments
KEY
De unieke naam van de pijplijn die moet worden uitgevoerd, zoals gedefinieerd in het YAML-bestand. Als er slechts één pijplijn in het project is, KEY is dit optioneel en wordt de pijplijn automatisch geselecteerd.
Options
--full-refresh strings
Lijst met tabellen om opnieuw in te stellen en opnieuw te compileren
--full-refresh-all
Een volledige grafiek opnieuw instellen en opnieuw compileren
--no-wait
Wacht niet tot de uitvoering is voltooid
--refresh strings
Lijst met tabellen die moeten worden uitgevoerd
--restart
Start de uitvoering opnieuw als deze al wordt uitgevoerd
databricks-pijplijnen stoppen
Stop de pijplijn als deze draait, geïdentificeerd door KEY of PIPELINE_ID. Als er geen actieve update voor de pijplijn is, is deze aanvraag een no-op.
databricks pipelines stop [KEY|PIPELINE_ID] [flags]
Arguments
KEY
De unieke naam van de pijplijn die moet worden gestopt, zoals gedefinieerd in het YAML-bestand. Als er slechts één pijplijn in het project is, KEY is dit optioneel en wordt de pijplijn automatisch geselecteerd.
PIPELINE_ID
De UUID van de pijplijn om te stoppen.
Options
--no-wait
wacht niet totdat de idLE-status is bereikt
--timeout duration
maximale tijdsduur voor het bereiken van de inactiviteitstatus (standaard 20m0s)
Pijplijnobjecten beheren
Met de volgende opdrachten kunt u pijplijnobjecten beheren in Databricks.
Databricks-pijplijnen maken
Maak een nieuwe pijplijn voor gegevensverwerking op basis van de aangevraagde configuratie. Als dit lukt, retourneert deze opdracht de id van de nieuwe pijplijn.
databricks pipelines create [flags]
Arguments
None
Options
--json JSON
De inline JSON-tekenreeks of de link @path naar het JSON-bestand met de body van het verzoek.
Databricks-pijplijnen verwijderen
Een pijplijn verwijderen.
databricks pipelines delete PIPELINE_ID [flags]
Arguments
PIPELINE_ID
De te verwijderen pijplijn.
Options
Databricks-pijplijnen worden opgehaald
Haal een pijplijn op.
databricks pipelines get PIPELINE_ID [flags]
Arguments
PIPELINE_ID
De pijplijn om op te halen.
Options
get-update voor databricks-pijplijnen
Haal een update op van een actieve pijplijn.
databricks pipelines get-update PIPELINE_ID UPDATE_ID [flags]
Arguments
PIPELINE_ID
De ID van de pijplijn.
UPDATE_ID
De id van de update.
Options
Voer de opdracht "databricks pipelines list-pipeline-events" uit
Gebeurtenissen voor een pijplijn ophalen.
databricks pipelines list-pipeline-events PIPELINE_ID [flags]
Arguments
PIPELINE_ID
De pijplijn waarvoor gebeurtenissen moeten worden opgehaald.
Options
--filter string
Criteria voor het selecteren van een subset met resultaten, uitgedrukt met behulp van een SQL-achtige syntaxis.
--max-results int
Maximum aantal items dat op één pagina wordt teruggegeven.
--page-token string
Paginatoken geretourneerd door vorige aanroep.
lijst met databricks-pijplijnen
Lijst met pijplijnen die zijn gedefinieerd in het Delta Live Tables-systeem.
databricks pipelines list-pipelines [flags]
Arguments
None
Options
--filter string
Selecteer een subset met resultaten op basis van de opgegeven criteria.
--max-results int
Het maximale aantal vermeldingen dat op een enkele pagina wordt weergegeven.
--page-token string
Paginatoken geretourneerd door vorige aanroep.
Lijstupdates voor databricks-pijplijnen
Geef updates weer voor een actieve pijplijn.
databricks pipelines list-updates PIPELINE_ID [flags]
Arguments
PIPELINE_ID
De pijplijn waarvoor updates moeten worden geretourneerd.
Options
--max-results int
Maximum aantal items dat op één pagina wordt teruggegeven.
--page-token string
Paginatoken geretourneerd door vorige aanroep.
--until-update-id string
Indien aanwezig, worden updates geretourneerd tot en met deze update_id.
Start-update van Databricks-pijplijnen
Start een nieuwe update voor de pijplijn. Als er al een actieve update voor de pijplijn is, mislukt de aanvraag en blijft de actieve update actief.
databricks pipelines start-update PIPELINE_ID [flags]
Arguments
PIPELINE_ID
De pijplijn voor het starten van een update.
Options
--cause StartUpdateCause
Ondersteunde waarden: [API_CALL, JOB_TASK, RETRY_ON_FAILURE, SCHEMA_CHANGE, SERVICE_UPGRADE, USER_ACTION]
--full-refresh
Als waar, worden alle tabellen gereset voordat de update wordt uitgevoerd.
--json JSON
De inline JSON-tekenreeks of de link @path naar het JSON-bestand met de body van het verzoek.
--validate-only
Als waar, valideert deze update alleen de broncode van de pijplijn op juistheid, maar worden er geen datasets gerealiseerd of gepubliceerd.
Update van Databricks-pijplijnen
Werk een pijplijn bij met de opgegeven configuratie.
databricks pipelines update PIPELINE_ID [flags]
Arguments
PIPELINE_ID
Unieke id voor deze pijplijn.
Options
--allow-duplicate-names
Als dit onwaar is, mislukt de implementatie als de naam is gewijzigd en deze conflicteert met de naam van een andere pijplijn.
--budget-policy-id string
Budgetbeleid van deze pijplijn.
--catalog string
Een catalogus in Unity Catalog om gegevens vanuit deze pijplijn te publiceren.
--channel string
Lakeflow Spark Declarative Pipelines Release-kanaal waarmee wordt opgegeven welke versie moet worden gebruikt.
--continuous
Of de pijplijn doorlopend is of wordt geactiveerd.
--development
Of de pijplijn zich in de ontwikkelingsmodus bevindt.
--edition string
Pijplijnproducteditie.
--expected-last-modified int
Indien aanwezig, is de laatst gewijzigde tijd van de pijplijninstellingen vóór de bewerking.
--id string
Unieke id voor deze pijplijn.
--json JSON
De inline JSON-tekenreeks of de link @path naar het JSON-bestand met de body van het verzoek.
--name string
Gebruiksvriendelijke ID voor deze pijplijn.
--photon
Of Photon is ingeschakeld voor deze pijplijn.
--pipeline-id string
Unieke id voor deze pijplijn.
--schema string
Het standaardschema (database) waarin tabellen worden gelezen of gepubliceerd naar.
--serverless
Of serverloze compute is ingeschakeld voor deze pijplijn.
--storage string
DBFS-hoofdmap voor het opslaan van controlepunten en tabellen.
--target string
Doelschema (database) waaraan tabellen in deze pijplijn moeten worden toegevoegd.
Databricks-pijplijnen krijgen machtigingsniveaus
Machtigingsniveaus voor pijplijnen bekomen.
databricks pipelines get-permission-levels PIPELINE_ID [flags]
Arguments
PIPELINE_ID
De pijplijn waarvoor u machtigingen wilt ophalen of beheren.
Options
machtigingen-halen voor Databricks-pijplijnen
Haal de machtigingen van een pijplijn op. Pijplijnen kunnen machtigingen overnemen van hun hoofdobject.
databricks pipelines get-permissions PIPELINE_ID [flags]
Arguments
PIPELINE_ID
De pijplijn waarvoor u machtigingen wilt ophalen of beheren.
Options
Machtigingen instellen voor Databricks-pijplijnen
Stel pijplijnmachtigingen in.
Hiermee stelt u machtigingen in voor een object, waarbij bestaande machtigingen worden vervangen als deze bestaan. Verwijdert alle directe machtigingen als er geen zijn opgegeven. Objecten kunnen machtigingen overnemen van hun hoofdobject.
databricks pipelines set-permissions PIPELINE_ID [flags]
Arguments
PIPELINE_ID
De pijplijn waarvoor u machtigingen wilt ophalen of beheren.
Options
--json JSON
De inline JSON-tekenreeks of de link @path naar het JSON-bestand met de body van het verzoek.
updatemachtigingen voor databricks-pijplijnen
Werk de machtigingen voor een pijplijn bij. Pijplijnen kunnen machtigingen overnemen van hun hoofdobject.
databricks pipelines update-permissions PIPELINE_ID [flags]
Arguments
PIPELINE_ID
De pijplijn waarvoor u machtigingen wilt ophalen of beheren.
Options
--json JSON
De inline JSON-tekenreeks of de link @path naar het JSON-bestand met de body van het verzoek.
Globale vlaggen
--debug
Of u logboekregistratie voor foutopsporing wilt inschakelen.
-h of --help
Help weergeven voor de Databricks CLI, de bijbehorende opdrachtgroep of de bijbehorende opdracht.
--log-file snaar
Een tekenreeks die het bestand aangeeft waar uitvoerlogboeken naar moeten worden geschreven. Als deze vlag niet is opgegeven, is het standaardinstelling om uitvoerlogboeken naar stderr te schrijven.
--log-format formatteren
Het logformaat type, text of json. De standaardwaarde is text.
--log-level snaar
Een tekenreeks die het niveau van de logboekindeling vertegenwoordigt. Als dit niet is opgegeven, wordt het niveau van de logboekindeling uitgeschakeld.
-o, --output Type
Het type uitvoer van de opdracht, text of json. De standaardwaarde is text.
-p, --profile snaar
De naam van het profiel in het ~/.databrickscfg bestand dat moet worden gebruikt om de opdracht uit te voeren. Als deze vlag niet is opgegeven en hij bestaat, wordt het profiel met de naam DEFAULT gebruikt.
--progress-format formatteren
De indeling voor het weergeven van voortgangslogboeken: default, append, inplaceof json
-t, --target snaar
Indien van toepassing, het bundeldoel dat moet worden gebruikt