管道限制

以下是 Lakeflow Spark 宣告式管線的限制，在開發管線時請務必瞭解這些限制：

• Azure Databricks 工作區最多可同時更新 200 個管線。 單一管線可以包含的資料集數目取決於管線組態和工作負載複雜度。
• 管線資料集只能定義一次。 因此，它們只能是所有管線中單一作業的目標。 例外狀況是具有附加流程處理的串流資料表，可讓您從多個串流來源寫入串流資料表。 請參閱 使用多個流寫入單一目標。
• 識別欄位有下列限制。 若要深入瞭解 Delta 資料表中的身分識別資料行，請參閱在 Delta Lake 中使用身分識別資料行。
  • 識別欄無法與作為 AUTO CDC 處理目標的資料表一起使用。
  • 識別欄位可能會在更新具體化檢視期間重新計算。 因此，Databricks 建議僅在管線中使用串流資料表中的身分識別資料行。
• 從管線發佈的具體化檢視和串流資料表，包括 Databricks SQL 所建立的檢視和串流資料表，只能由 Azure Databricks 用戶端和應用程式存取。 不過，若要讓具體化檢視和串流資料表可從外部存取，您可以使用 sink API 寫入外部 Delta 執行個體中的資料表。 詳見 Lakeflow Spark 宣告式管線中的 Sinks。
• 執行和查詢 Unity Catalog 管線所需的 Databricks 計算有其限制。 請參閱發佈管線至 Unity Catalog 的 需求。
• Delta Lake 時間旅行查詢僅支援串流資料表，且 不 支援具體化檢視。 請參閱 Delta Lake 資料表歷程記錄。
• 您無法在實體化檢視和串流資料表上啟用 Iceberg 讀取 。
• 不支援 pivot() 函式。 Spark 中的 pivot 作業需要急切載入輸入數據以計算輸出架構。 管線不支援此功能。