Grundlegendes zu Azure Databricks-Notizbüchern und -Pipelines

In Azure Databricks können Sie Notizbücher verwenden, um Code auszuführen, der in Python, Scala, SQL und anderen Sprachen geschrieben wurde, um Daten aufzunehmen und zu verarbeiten. Notizbücher bieten eine interaktive Schnittstelle, in der Sie einzelne Codezellen ausführen und Markdown verwenden können, um Notizen und Anmerkungen einzuschließen.

In vielen Datentechniklösungen können Code, der interaktiv geschrieben und getestet wird, später in einen automatisierten Datenverarbeitungsworkload integriert werden. In Azure werden solche Workloads häufig als Pipelines in Azure Data Factory implementiert, in denen eine oder mehrere Aktivitäten verwendet werden, um eine Reihe von Aufgaben zu koordinieren, die in geplanten Intervallen oder als Reaktion auf ein Ereignis ausgeführt werden können (z. B. neue Daten, die in einen Ordner in einem Datensee geladen werden). Azure Data Factory unterstützt eine Notizbuchaktivität , mit der die unbeaufsichtigte Ausführung eines Notizbuchs in einem Azure Databricks-Arbeitsbereich automatisiert werden kann.