了解 Azure Databricks Notebook 和管道

已完成

在 Azure Databricks 中,您可以使用筆記本來執行以 Python、Scala、SQL 和其他語言撰寫的程式碼,以擷取和處理資料。 Notebook 提供互動式介面,您可以在其中執行個別的程式碼資料格,並使用 Markdown 來包含附注和批註。

在許多資料工程解決方案中,以互動方式撰寫和測試的程式碼稍後可以併入自動化資料處理工作負載中。 在 Azure 上,這類工作負載通常會實作為 Azure Data Factory 中的 管線 ,其中一或多個 活動 可用來協調一系列工作,這些工作可以隨選執行、排程間隔或回應事件(例如,正在載入 Data Lake 中的資料夾的新數據)。 Azure Data Factory 支援 Notebook 活動,可用來自動化無需人工干預地執行 Azure Databricks 工作區中的筆記本。

圖表顯示 Azure Data Factory 管道,其中包含呼叫 Azure Databricks 中筆記本的活動。

備註

相同的 Notebook 活動可在內建 Azure Synapse Analytics 的管線中使用。