Partilhar via

Desenvolva código de pipeline em seu ambiente de desenvolvimento local

Você pode criar código-fonte de pipeline Python em seu ambiente de desenvolvimento integrado (IDE) preferido.

Não é possível validar ou executar atualizações no código de pipeline escrito em um IDE. Você deve reimplantar arquivos de código-fonte de volta para um workspace do Azure Databricks e configurá-los como parte de um pipeline.

Este artigo fornece uma visão geral do suporte para o desenvolvimento local do IDE. Para um desenvolvimento e testes mais interativos, a Databricks recomenda o uso do Lakeflow Pipelines Editor. Consulte Desenvolver e depurar pipelines ETL com o Lakeflow Pipelines Editor.

Configurar um IDE local para desenvolvimento de pipeline

Databricks fornece um módulo Python para desenvolvimento local distribuído através do PyPI. Para obter instruções de instalação e uso, consulte Python stub for DLT.

Este módulo tem as interfaces e referências docstring para a interface Python do pipeline, fornecendo verificação de sintaxe, preenchimento automático e verificação de tipo de dados enquanto você escreve código no IDE.

Este módulo inclui interfaces, mas não implementações funcionais. Não é possível usar essa biblioteca para criar ou executar pipelines localmente.

Você pode usar o Databricks Asset Bundles para empacotar e implantar código-fonte e configurações em um espaço de trabalho de destino e para disparar a execução de uma atualização em um pipeline configurado dessa maneira. Consulte Converter um pipeline em um projeto Databricks Asset Bundle.

A extensão Databricks para Visual Studio Code tem funcionalidade adicional para trabalhar com pipelines usando Databricks Asset Bundles. Consulte Bundle Resource Explorer.

Sincronizar código de pipeline do seu IDE para um espaço de trabalho

A tabela a seguir resume as opções para sincronizar o código-fonte do pipeline entre seu IDE local e um espaço de trabalho do Azure Databricks:

Ferramenta ou padrão Detalhes
Pacotes de Ativos da Databricks Use o Databricks Asset Bundles para implantar ativos de pipeline que variam em complexidade, desde um único arquivo de código-fonte até configurações para vários pipelines, trabalhos e arquivos de código-fonte. Consulte Converter um pipeline em um projeto Databricks Asset Bundle.
Extensão Databricks para Visual Studio Code O Azure Databricks fornece uma integração com o Visual Studio Code que inclui sincronização fácil entre o IDE local e os arquivos do espaço de trabalho. Essa extensão também fornece ferramentas para usar o Databricks Asset Bundles para implantar ativos de pipeline. Consulte O que é a extensão Databricks para Visual Studio Code?.
Arquivos de espaço de trabalho Você pode usar os arquivos do espaço de trabalho Databricks para carregar o código-fonte do pipeline para o espaço de trabalho do Databricks e, em seguida, importar esse código para um pipeline. Consulte O que são arquivos de espaço de trabalho?.
Diretórios Git As pastas Git permitem sincronizar código entre seu ambiente local e o espaço de trabalho do Azure Databricks usando um repositório Git como intermediário. Consulte Pastas Git do Azure Databricks.
  • Last updated on