Pipelinebeschränkungen

Im Folgenden sind Einschränkungen von Lakeflow Spark Declarative Pipelines aufgeführt, die beim Entwickeln Ihrer Pipelines wichtig sind:

• Ein Azure Databricks-Arbeitsbereich ist auf 200 gleichzeitige Pipelineupdates beschränkt. Die Anzahl der Datasets, die eine einzelne Pipeline enthalten kann, wird durch die Komplexität der Pipelinekonfiguration und workload bestimmt.
• Pipeline-Datasets können nur einmal definiert werden. Aus diesem Grund können sie über alle Pipelines hinweg nur das Ziel eines einzigen Vorgangs sein. Die Ausnahme sind Streamingtabellen mit Anfügeflussverarbeitung, mit der Sie aus mehreren Streamingquellen in die Streamingtabelle schreiben können. Weitere Informationen finden Sie unter Verwenden mehrerer Flüsse zum Schreiben in ein einzelnes Ziel.
• Identitätsspalten weisen die folgenden Einschränkungen auf. Weitere Informationen zu Identitätsspalten in Delta-Tabellen finden Sie unter Verwenden von Identitätsspalten im Delta Lake.
  • Identitätsspalten werden bei Tabellen, die das Ziel der AUTO CDC-Verarbeitung sind, nicht unterstützt.
  • Identitätsspalten werden möglicherweise während aktualisierungen einer materialisierten Ansicht neu komputiert. Aus diesem Grund empfiehlt Databricks die Verwendung von Identitätsspalten in Pipelines nur mit Streamingtabellen.
• Materialisierte Ansichten und Streamingtabellen, die aus Pipelines veröffentlicht wurden, einschließlich derjenigen, die von Databricks SQL erstellt wurden, können nur von Azure Databricks-Clients und -Anwendungen aufgerufen werden. Um jedoch Ihre materialisierten Ansichten und Streamingtabellen extern zugänglich zu machen, können Sie die sink API verwenden, um in Tabellen in einer externen Delta-Instanz zu schreiben. Siehe Senken in Lakeflow Spark Declarative Pipelines.
• Es gibt Einschränkungen für die Databricks-Computierung, die zum Ausführen und Abfragen von Unity Catalog-Pipelines erforderlich ist. Siehe die Anforderungen für Pipelines, die im Unity-Katalog veröffentlicht werden.
• Delta Lake-Zeitreiseabfragen werden nur mit Streamingtabellen unterstützt und werden nicht mit materialisierten Ansichten unterstützt. Weitere Informationen finden Sie unter Arbeiten mit dem Delta Lake-Tabellenverlauf.
• Sie können Iceberg-Lesevorgänge für materialisierte Ansichten und Streamingtabellen nicht aktivieren.
• Die pivot()-Funktion wird nicht unterstützt. Der pivot-Vorgang in Spark erfordert das vorzeitige Laden von Eingabedaten, um das Ausgabeschema zu berechnen. Diese Funktion wird in Pipelines nicht unterstützt.