Nota
O acesso a esta página requer autorização. Podes tentar iniciar sessão ou mudar de diretório.
O acesso a esta página requer autorização. Podes tentar mudar de diretório.
Esta seção contém referência e instruções para desenvolvedores de pipeline.
O carregamento de dados e as transformações são implementados em pipelines por consultas que definem tabelas de streaming e exibições materializadas. Para implementar essas consultas, o Lakeflow Spark Declarative Pipelines suporta interfaces SQL e Python. Como essas interfaces fornecem funcionalidade equivalente para a maioria dos casos de uso de processamento de dados, os desenvolvedores de pipeline podem escolher a interface com a qual se sentem mais confortáveis.
Desenvolvimento em Python
Crie pipelines usando código Python.
| Tópico | Description |
|---|---|
| Desenvolva código de pipeline com Python | Uma visão geral do desenvolvimento de pipelines em Python. |
| Referência da linguagem Python para Lakeflow Spark Declarative Pipelines | Documentação de referência Python para o pipelines módulo. |
| Gerenciar dependências Python para pipelines | Instruções para gerenciar bibliotecas Python em pipelines. |
| Importar módulos Python de pastas Git ou arquivos de espaço de trabalho | Instruções para usar módulos Python que você armazenou no Azure Databricks. |
Desenvolvimento SQL
Crie pipelines usando código SQL.
| Tópico | Description |
|---|---|
| Desenvolver código Lakeflow Spark Declarative Pipelines com SQL | Uma visão geral do desenvolvimento de pipelines em SQL. |
| Referência da linguagem SQL do pipeline | Documentação de referência para sintaxe SQL para Lakeflow Spark Declarative Pipelines. |
| Usar pipelines no Databricks SQL | Use o Databricks SQL para trabalhar com pipelines. |
Outros tópicos de desenvolvimento
Os tópicos a seguir descrevem outras formas de criar pipelines.
| Tópico | Description |
|---|---|
| Converter uma pipeline num projeto Databricks Asset Bundle | Converta um pipeline existente em um pacote, que permite gerenciar sua configuração de processamento de dados em um arquivo YAML controlado pela fonte para facilitar a manutenção e implantações automatizadas em ambientes de destino. |
| Criar pipelines com dlt-meta | Use a biblioteca de código dlt-meta aberto para automatizar a criação de pipelines com uma estrutura orientada por metadados. |
| Desenvolva código de pipeline em seu ambiente de desenvolvimento local | Uma visão geral das opções para o desenvolvimento de pipelines localmente. |