本部分包含管道开发人员的参考和说明。
数据加载和转换通过定义流式处理表和具体化视图的查询在管道中实现。 若要实现这些查询，Lakeflow Spark 声明性管道支持 SQL 和 Python 接口。 由于这些接口为大多数数据处理用例提供等效的功能，管道开发人员可以选择他们最熟悉的接口。
Python 开发
使用 Python 代码创建管道。
| 主题 | Description |
|---|---|
| 使用 Python 开发管道代码 | 概述如何在 Python 中开发管道。 |
| Lakeflow Spark 声明性管道 Python 语言参考 | Python pipelines 模块的参考文档。 |
| 管理管道的 Python 依赖项 | 有关在管道中管理 Python 库的说明。 |
| 从 Git 文件夹或工作区文件导入 Python 模块 | 有关使用 Azure Databricks 中存储的 Python 模块的说明。 |
SQL 开发
使用 SQL 代码创建管道。
| 主题 | Description |
|---|---|
| 使用 SQL 开发 Lakeflow Spark 声明性管道代码 | 概述如何在 SQL 中开发管道。 |
| SQL 管道语言参考 | Lakeflow Spark 声明性管道的 SQL 语法参考文档。 |
| 在 Databricks SQL 中使用管道 | 使用 Databricks SQL 处理管道。 |
其他开发主题
以下主题介绍了开发管道的其他方法。
| 主题 | Description |
|---|---|
| 将管道转换为 Databricks 资产捆绑项目 | 将现有管道转换为捆绑包，这样就可以在源代码控制的 YAML 文件中管理数据处理配置，以便更轻松地将维护和自动部署部署到目标环境。 |
| 使用 dlt-meta 创建管道 | 使用开源 dlt-meta 库通过元数据驱动框架自动创建管道。 |
| 在本地开发环境中开发管道代码 | 本地开发管道的选项概述。 |