Delta 实时表(DLT)出了什么问题?

以前称为 Delta Live Tables (DLT) 的产品已更新为 Lakeflow Spark 声明式管道(SDP)。 如果以前使用过 DLT,则无需迁移 Lakeflow Spark 声明性管道:代码仍可在 SDP 中使用。 可以进行一些更改,以便更好地利用 Lakeflow Spark 声明性管道(现在和将来),以及引入与 Apache Spark 声明性管道(从 Apache Spark™ 4.1 开始)的兼容性。

在 Python 代码中,引用import dlt可以被替换为from pyspark import pipelines as dp,此外这还需要进行以下更改:

  • @dlt 替换为 @dp
  • @table修饰器现在用于创建流式处理表,新的@materialized_view修饰器用于创建具体化视图。
  • @view 现为 @temporary_view

有关 Python API 名称更改的详细信息,以及 Lakeflow SDP 和 Apache Spark 声明管道之间的区别,请参阅管道 Python 参考中的发生了什么@dlt

注释

Databricks 中仍有一些对 DLT 名称的引用。 Lakeflow Spark 声明性管道的经典 SKU 仍以开头 DLT,并且名称中带有 dlt 的事件日志架构尚未更改。 仍可使用名称中使用的 dlt Python API,但 Databricks 建议移动到新名称。

了解详细信息