Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
Dieser Abschnitt enthält Referenz- und Anweisungen für Pipelineentwickler.
Datenladevorgänge und Transformationen werden in Pipelines durch Abfragen implementiert, die Streamingtabellen und materialisierte Ansichten definieren. Um diese Abfragen zu implementieren, unterstützt Lakeflow Spark Declarative Pipelines SQL- und Python-Schnittstellen. Da diese Schnittstellen für die meisten Anwendungsfälle für die Datenverarbeitung gleichwertige Funktionen bereitstellen, können Pipelineentwickler die Schnittstelle auswählen, mit der sie am besten vertraut sind.
Python-Entwicklung
Erstellen Sie Pipelines mit Python-Code.
| Thema | Description |
|---|---|
| Entwickeln von Pipelinecode mit Python | Eine Übersicht über die Entwicklung von Pipelines in Python. |
| Lakeflow Spark Declarative Pipelines Python-Sprachreferenz | Python-Referenzdokumentation für das pipelines Modul. |
| Verwalten von Python-Abhängigkeiten für Pipelines | Anweisungen zum Verwalten von Python-Bibliotheken in Pipelines. |
| Importieren von Python-Modulen aus Git-Ordnern oder Arbeitsbereichsdateien | Anweisungen für die Verwendung von Python-Modulen, die Sie in Azure Databricks gespeichert haben. |
SQL-Entwicklung
Erstellen Sie Pipelines mit SQL-Code.
| Thema | Description |
|---|---|
| Entwickeln von Lakeflow Spark Declarative Pipelines-Code mit SQL | Eine Übersicht über die Entwicklung von Pipelines in SQL. |
| SQL-Sprachreferenz für Pipeline | Referenzdokumentation für SQL-Syntax für Lakeflow Spark Declarative Pipelines. |
| Verwenden von Pipelines in Databricks SQL | Verwenden Sie Databricks SQL, um mit Pipelines zu arbeiten. |
Weitere Entwicklungsthemen
In den folgenden Themen werden weitere Möglichkeiten zum Entwickeln von Piplines beschrieben.
| Thema | Description |
|---|---|
| Konvertieren einer Pipeline in ein Databricks Asset Bundle-Projekt | Konvertieren Sie eine vorhandene Pipeline in ein Bundle, mit dem Sie Ihre Datenverarbeitungskonfiguration in einer quellgesteuerten YAML-Datei verwalten können, um die Wartung und automatisierte Bereitstellungen in Zielumgebungen zu vereinfachen. |
| Erstellen von Pipelines mit dlt-meta | Verwenden Sie die Open Source-Bibliothek dlt-meta , um die Erstellung von Pipelines mit einem metadatengesteuerten Framework zu automatisieren. |
| Entwickeln von Pipelinecode in Ihrer lokalen Entwicklungsumgebung | Eine Übersicht über optionen für die lokale Entwicklung von Pipelines. |