Introdução ao Azure Databricks

  • 3 minutos

Para usar o Azure Databricks, você precisa criar um workspace do Azure Databricks em sua assinatura do Azure. Um workspace é uma implantação do Azure Databricks em uma conta de serviço de nuvem. Ele fornece um ambiente unificado para trabalhar com ativos do Azure Databricks para um conjunto especificado de usuários.

Você pode criar um espaço de trabalho no Azure Databricks, por meio de:

  • Usando a interface do usuário do portal do Azure.
  • Usando um modelo do ARM (Azure Resource Manager), Bicep ou Terraform.
  • Usando o cmdlet New-AzDatabricksWorkspace do Azure PowerShell.
  • Usando o workspace do az databricks, crie o comando CLI (interface de linha de comando) do Azure.

Ao criar um workspace, você deve especificar:

  • Um nome de workspace.
  • Selecione uma região disponível. Para regiões disponíveis, consulte os serviços do Azure disponíveis por região.
  • Um tipo de preço:
    • Standard – Principais funcionalidades do Apache Spark com a integração do Microsoft Entra ID.
    • Premium – Controles de acesso baseados em função e outros recursos de nível empresarial.
    • Avaliação – Uma avaliação gratuita de 14 dias de um workspace de nível premium
  • Nome do Grupo de Recursos Gerenciados (opcional): um grupo de recursos criado automaticamente em que o Azure provisiona e gerencia os recursos de infraestrutura necessários para seu workspace do Databricks.

Captura de tela do Azure Databricks no Portal do Azure.

Se você decidir criar um deploiamento do Azure Databricks usando a CLI do Azure, esse será o comando az databricks workspace para lembrar:

az databricks workspace create
    --resource-group myresourcegroup \
    --name mydatabricksws  \
    --location westus2  \
    --sku standard

O cmdlet New-AzDatabricksWorkspace equivalente do PowerShell:

New-AzDatabricksWorkspace -Name mydatabricksws -ResourceGroupName myresourcegroup -Location westus2 -ManagedResourceGroupName databricks-group -Sku standard

Depois de provisionar um workspace do Azure Databricks, você pode usar a interface do usuário do workspace para trabalhar com dados e recursos de computação. A interface do espaço de trabalho é uma interface do usuário baseada na Web onde você pode criar e gerenciar recursos do espaço de trabalho, como clusters do Spark, e usar notebooks e consultas para trabalhar com dados em arquivos e tabelas.

Captura de tela da interface do usuário do Workspace do Azure Databricks.

A home page fornece atalhos para tarefas comuns e objetos de workspace para ajudá-lo a começar. Você pode importar dados, criar um notebook, criar uma consulta e configurar um experimento autoML.

A barra lateral mostra categorias comuns do Databricks (Workspace, Recents, Catalog, Jobs &Pipelines, Compute, Marketplace). Em seguida, ele se divide por área de produto:

  • SQL: Editor de SQL, Consultas, Dashboards, Genie, Alertas, Histórico de Consultas, SQL Warehouses
  • Engenharia de Dados: Execuções de Trabalho, Ingestão de Dados
  • Machine Learning: Playground, Experimentos, Recursos, Modelos, Entrega

Selecione + Novo para:

  • Criar objetos do espaço de trabalho, como notebooks, consultas, repositórios, painéis, alertas, trabalhos, pipelines, experimentos, modelos e pontos de extremidade de entrega.
  • Crie recursos de computação como clusters, armazenamentos SQL e pontos de extremidade de ML.

Use a barra superior para pesquisar objetos de workspace, como notebooks, consultas, dashboards, alertas, arquivos, pastas, bibliotecas, tabelas registradas no Catálogo do Unity, trabalhos e repositórios em um único local. Você também pode acessar objetos exibidos recentemente na barra de pesquisa.

O workspace está disponível em vários idiomas. Para alterar o idioma do workspace, selecione seu nome de usuário na barra de navegação superior, selecione Configurações e vá para a guia Preferências .

Obter ajuda do Assistente do Databricks

o Assistente do Databricks é uma ferramenta de suporte e programador de pares habilitado para IA que ajuda você a trabalhar com mais eficiência no Databricks gerando, explicando e corrigindo códigos ou consultas diretamente em notebooks, dashboards e arquivos.

Captura de tela do Assistente do Azure Databricks.

Ele pode ajudar com uma ampla variedade de tarefas, incluindo identificar e corrigir erros, criar visualizações de dados, diagnosticar problemas de trabalho e filtrar ou analisar dados usando prompts de linguagem natural. O Assistente pode exibir diretrizes relevantes da documentação do Azure Databricks.

Usando metadados do Catálogo do Unity, ele personaliza suas respostas com base nos ativos de dados da sua organização — tabelas, colunas e descrições — facilitando a exploração e o trabalho com seus dados.