Introdução ao Azure Databricks

Para usar o Azure Databricks, você deve criar um espaço de trabalho do Azure Databricks em sua assinatura do Azure. Um espaço de trabalho é uma implantação do Azure Databricks em uma conta de serviço de nuvem. Ele fornece um ambiente unificado para trabalhar com ativos do Azure Databricks para um conjunto especificado de usuários.

Você pode criar um espaço de trabalho do Azure Databricks da seguinte forma:

• Usando a interface do usuário do portal do Azure.
• Usando um modelo do Azure Resource Manager (ARM), Bicep ou Terraform.
• Usando o cmdlet New-AzDatabricksWorkspace Azure PowerShell.
• Usando o espaço de trabalho az databricks, crie o comando CLI (interface de linha de comando) do Azure.

Ao criar um espaço de trabalho, você deve especificar:

• Um nome de espaço de trabalho.
• Selecione uma região disponível. Para regiões disponíveis, consulte Serviços do Azure disponíveis por região.
• Um nível de preços:
  • Standard - Principais capacidades do Apache Spark com integração Microsoft Entra ID.
  • Premium - Controles de acesso baseados em função e outros recursos de nível empresarial.
  • Avaliação - Uma avaliação gratuita de 14 dias de um espaço de trabalho de nível premium
• Nome do Grupo de Recursos Gerenciados (opcional): um grupo de recursos criado automaticamente onde o Azure provisiona e gerencia os recursos de infraestrutura necessários para seu espaço de trabalho Databricks.

Se você decidir criar uma implantação do Azure Databricks usando a CLI do Azure, este será o comando az databricks workspace para lembrar:

az databricks workspace create
    --resource-group myresourcegroup \
    --name mydatabricksws  \
    --location westus2  \
    --sku standard

O cmdlet PowerShell equivalente a New-AzDatabricksWorkspace

New-AzDatabricksWorkspace -Name mydatabricksws -ResourceGroupName myresourcegroup -Location westus2 -ManagedResourceGroupName databricks-group -Sku standard

Navegando na interface gráfica do espaço de trabalho do Azure Databricks

Depois de provisionar um espaço de trabalho do Azure Databricks, você pode usar a interface do usuário do espaço de trabalho para trabalhar com dados e recursos de computação. A interface do usuário do espaço de trabalho é uma interface do usuário baseada na Web onde você pode criar e gerenciar recursos do espaço de trabalho, como clusters do Spark, e usar blocos de anotações e consultas para trabalhar com dados em arquivos e tabelas.

A página inicial fornece atalhos para tarefas comuns e objetos de espaço de trabalho para ajudá-lo a começar. Você pode importar dados, criar um bloco de anotações, criar uma consulta e configurar um experimento AutoML.

A barra lateral mostra categorias comuns do Databricks (Workspace, Recents, Catalog, Jobs & Pipelines, Compute, Marketplace). Em seguida, divide-se por área de produto:

• SQL: Editor SQL, Consultas, Dashboards, Genie, Alertas, Histórico de Consultas, SQL Warehouses
• Engenharia de Dados: Job Runs, Ingestão de Dados
• Machine Learning: Ambiente de teste, Experimentos, Recursos, Modelos, Implementação

Selecione + Novo para:

• Crie objetos de espaço de trabalho , como blocos de anotações, consultas, repositórios, painéis, alertas, trabalhos, pipelines, experimentos, modelos e pontos de extremidade de serviço.
• Crie recursos de computação como clusters, armazéns SQL e pontos de extremidade de ML.

Use a barra superior para procurar objetos de espaço de trabalho, como blocos de anotações, consultas, painéis, alertas, arquivos, pastas, bibliotecas, tabelas registradas no Unity Catalog, trabalhos e repositórios em um único lugar. Também pode aceder a objetos visualizados recentemente na barra de pesquisa.

O espaço de trabalho está disponível em vários idiomas. Para alterar o idioma do espaço de trabalho, selecione seu nome de usuário na barra de navegação superior, selecione Configurações e vá para a guia Preferências .

Obtenha ajuda do Databricks Assistant

O Databricks Assistant é um programador de pares alimentado por IA e uma ferramenta de suporte que ajuda você a trabalhar de forma mais eficiente no Databricks, gerando, explicando e corrigindo código ou consultas diretamente em notebooks, painéis e arquivos.

Ele pode ajudar com uma ampla gama de tarefas, incluindo identificar e corrigir erros, criar visualizações de dados, diagnosticar problemas de trabalho e filtrar ou analisar dados usando prompts de linguagem natural. O Assistente pode apresentar orientações relevantes da documentação do Azure Databricks.

Usando metadados do Unity Catalog, ele personaliza suas respostas com base nos ativos de dados da sua organização — tabelas, colunas e descrições — facilitando a exploração e o trabalho com seus dados.