Partilhar via

Ferramentas de desenvolvimento local

O Databricks fornece um ecossistema de ferramentas para ajudá-lo a desenvolver aplicativos e soluções que se integram ao Azure Databricks e gerenciam programaticamente recursos e dados do Databricks.

Este artigo fornece uma visão geral dessas ferramentas e recomendações para as melhores ferramentas para cenários comuns de desenvolvedores.

Que ferramentas o Databricks fornece para o desenvolvimento local?

A tabela a seguir fornece uma lista de ferramentas de desenvolvedor fornecidas pelo Databricks.

Ferramenta Descrição
Autenticação e autorização Configure a autenticação e a autorização para que suas ferramentas, scripts e aplicativos funcionem com o Azure Databricks.
Databricks Connect Conecte-se ao Azure Databricks usando ambientes de desenvolvimento integrado (IDEs) populares, como PyCharm, IntelliJ IDEA, Eclipse, RStudio e JupyterLab.
Se estiveres a usar Visual Studio Code, a Databricks recomenda a extensão Databricks para Visual Studio Code, que é construída sobre o Databricks Connect, pois oferece funcionalidades adicionais para facilitar a configuração.
Extensão Databricks para Visual Studio Code Conecte-se aos seus espaços de trabalho remotos do Azure Databricks a partir do ambiente de desenvolvimento integrado (IDE) do Visual Studio Code .
Plugin PyCharm Databricks Configure uma conexão com um espaço de trabalho remoto do Databricks e execute arquivos em clusters Databricks do PyCharm. Este plugin é desenvolvido e fornecido pela JetBrains em parceria com a Databricks.
Databricks SDKs Automatize Azure Databricks a partir de bibliotecas de código escritas para linguagens populares como Python, Java, Go e R. Em vez de enviar chamadas REST API diretamente usando curl ou Postman, use um SDK para interagir com Databricks usando uma linguagem de programação à sua escolha. Os SDKs do Databricks suportam a API REST completa e fornecem outros recursos, incluindo autenticação unificada e paginação, que os tornam fáceis de usar e se estendem para cobrir muitos cenários.
Drivers e ferramentas SQL Conecte-se ao Azure Databricks para executar comandos e scripts SQL, interagir programaticamente com o Azure Databricks e integrar a funcionalidade SQL do Azure Databricks em aplicativos escritos em linguagens populares como Python, Go, JavaScript e TypeScript.
CLI do Databricks Acesse a funcionalidade do Azure Databricks usando a interface de linha de comando (CLI) do Databricks. A CLI envolve a API REST do Databricks, por isso, em vez de enviar chamadas diretamente à API REST usando curl ou Postman, usa a CLI do Databricks para interagir com o Databricks.
Pacotes de Ativos da Databricks Implemente práticas recomendadas de desenvolvimento, teste e implantação (CI/CD) padrão do setor para seus dados do Azure Databricks e projetos de IA usando o Databricks Asset Bundles.
Databricks Terraform provider e Terraform CDKTF para Databricks Provisione a infraestrutura e os recursos do Azure Databricks usando o Terraform.
Ferramentas CI/CD Integre sistemas e estruturas populares de CI/CD, como GitHub Actions, Jenkins e Apache Airflow.

Gorjeta

Você também pode conectar muitas ferramentas de terceiros populares adicionais a clusters e armazéns SQL para acessar dados no Azure Databricks. Para mais informações, consulte Parceiros de Tecnologia.

Qual ferramenta de desenvolvedor devo usar?

A tabela a seguir descreve as recomendações da ferramenta Databricks para cenários comuns de desenvolvedores.

Ferramenta Recomendação de utilização
Extensão Databricks para Visual Studio Code
Plugin PyCharm Databricks
Para outras IDEs, utilize a CLI do Databricks com o Databricks Connect
  • Desenvolvimento interativo e depuração a partir de um IDE local.
CLI do Databricks
  • Interação direta com Databricks a partir da linha de comando
  • Programação em Shell
  • Experimentação
  • Invoque a API REST diretamente
  • Gerenciar perfis de autenticação local
  • Sincronizar código do IDE para o espaço de trabalho Databricks
Databricks Asset Bundles (um recurso da CLI)
  • Gerencie fluxos de trabalho e implante projetos no Databricks
  • Aplicar as práticas recomendadas de CI/CD
  • Conversão, coautoria, co-implantação dos seus recursos e ativos como uma só unidade
  • Suporta os recursos mais comuns
Provedor Terraform do Databricks
  • Infraestrutura como código, CI/CD
  • Administrar e criar espaços de trabalho, catálogos, metastores e impor permissões
  • Garantir a portabilidade do ambiente e a recuperação de desastres
  • Diversos recursos suportados
Databricks Python SDK
Databricks Java SDK
Databricks Go SDK
Databricks R SDK
  • Desenvolvimento de aplicações
  • Integração com sistemas de implantação existentes
  • Crie fluxos de trabalho personalizados do Databricks e novos serviços Web
Drivers SQL
  • Executar comandos e scripts SQL a partir de aplicativos cliente
API REST do Databricks
  • Automatize processos em que um SDK em sua linguagem de programação preferida não está disponível
  • Apenas cenários avançados
  • Quase todos os recursos do Databricks estão disponíveis
  • Last updated on