以前称为 Delta Live Tables (DLT) 的产品已更新为 Lakeflow Spark 声明式管道(SDP)。 如果以前使用过 DLT,则无需迁移 Lakeflow Spark 声明性管道:代码仍可在 SDP 中使用。 可以进行一些更改,以便更好地利用 Lakeflow Spark 声明性管道(现在和将来),以及引入与 Apache Spark 声明性管道(从 Apache Spark™ 4.1 开始)的兼容性。
在 Python 代码中,引用import dlt可以被替换为from pyspark import pipelines as dp,此外这还需要进行以下更改:
-
@dlt替换为@dp。 -
@table修饰器现在用于创建流式处理表,新的@materialized_view修饰器用于创建具体化视图。 -
@view现为@temporary_view。
有关 Python API 名称更改的详细信息,以及 Lakeflow SDP 和 Apache Spark 声明管道之间的区别,请参阅管道 Python 参考中的发生了什么@dlt?
注释
Databricks 中仍有一些对 DLT 名称的引用。 Lakeflow Spark 声明性管道的经典 SKU 仍以开头 DLT,并且名称中带有 dlt 的事件日志架构尚未更改。 仍可使用名称中使用的 dlt Python API,但 Databricks 建议移动到新名称。