預設情況下,當你建立流程時,管線會將結果的查詢寫入 Delta 表格,通常是實體化的視圖或串流資料表。 管線也提供功能,讓你能寫入各種匯出端,甚至能程式化地轉換並傳輸資料到任何你能用 Python 寫入的目標端。
以下主題描述管線中的匯功能。
| 主題 | Description |
|---|---|
| Lakeflow Spark 聲明式管線接收器 | 利用 sink API 搭配資料流,將經由管線轉換的紀錄寫入支援的外部資料儲存體。 外部數據接收器包括 Unity 目錄受控和外部數據表,以及 Apache Kafka 或 Azure 事件中樞等事件串流服務。 |
| Python 自訂匯入 | 利用 sink API 搭配 Python 自訂資料來源,寫入任意資料儲存。 |
| ForEachBatch 匯入 | 使用 foreachBatch API 將資料寫入至任意資料存儲,並對資料進行其他轉換,或在單一流程中寫入至多個匯出端。 |