Usar identidades gerenciadas do Azure com o Azure Databricks

Esta página mostra como configurar e usar a autenticação de identidades gerenciadas do Azure para automatizar suas contas e espaços de trabalho do Azure Databricks.

O Azure gerencia automaticamente identidades no Microsoft Entra ID para que os aplicativos sejam autenticados com recursos que dão suporte à autenticação do Microsoft Entra ID, incluindo contas e espaços de trabalho do Azure Databricks. Esse método de autenticação obtém tokens de ID do Microsoft Entra sem exigir que você gerencie credenciais.

Esta página orienta você na criação de uma identidade gerenciada atribuída pelo usuário e na atribuição dela à sua conta, espaço de trabalho e máquina virtual do Azure Databricks (VM do Azure). Em seguida, você instala e configura a CLI do Databricks em sua VM do Azure para usar a autenticação de identidades gerenciadas do Azure e executar comandos para automatizar sua conta e espaço de trabalho do Azure Databricks.

• Para obter mais informações sobre identidades gerenciadas, consulte O que são identidades gerenciadas para recursos do Azure?.
• Para obter mais informações sobre a autenticação de identidades gerenciadas do Azure para o Azure Databricks, consulte Autenticar com identidades gerenciadas do Azure.

Requerimentos

• Permissões do RBAC do Azure para criar e atribuir identidades gerenciadas.
• Função de administrador de conta ou espaço de trabalho para atribuir identidades gerenciadas ao Azure Databricks. Consulte Atribuir funções de administrador de conta a um usuário e Atribuir a função de administrador de espaço de trabalho a um usuário.
• Funções de Colaborador de Máquina Virtual e Operador de Identidade Gerenciada para criar uma VM do Azure e atribuir a identidade gerenciada a ela.

Etapa 1: Criar uma identidade gerenciada atribuída pelo usuário

Crie uma identidade gerenciada atribuída pelo usuário para recursos do Azure. O Azure dá suporte a identidades gerenciadas atribuídas pelo sistema e pelo usuário. O Databricks recomenda o uso de identidades gerenciadas atribuídas pelo usuário para autenticação de identidades gerenciadas do Azure com o Azure Databricks.

Para criar uma identidade gerenciada atribuída pelo usuário, siga as instruções em Gerenciar identidades gerenciadas atribuídas pelo usuário usando o portal do Azure.

Depois de criar a identidade gerenciada, copie o valor da ID do Cliente da página de visão geral da identidade gerenciada. Você precisará desse valor nas etapas 2, 3 e 7.

Etapa 2: atribuir a identidade gerenciada à sua conta

Atribua sua identidade gerenciada à sua conta do Azure Databricks. O Databricks trata identidades gerenciadas como entidades de serviço. Se não precisar de acesso ao nível da conta, avance para o Passo 3.

Siga as instruções em Adicionar entidades de serviço à sua conta. Escolha Microsoft Entra ID gerenciado e cole a ID do Cliente da Etapa 1 como a ID do aplicativo Microsoft Entra.

Etapa 3: atribuir a identidade gerenciada ao seu espaço de trabalho

Atribua a identidade gerenciada ao seu espaço de trabalho do Azure Databricks. O Databricks trata identidades gerenciadas como entidades de serviço. Consulte as instruções em Atribuir um principal do serviço a um espaço de trabalho.

Ao adicionar o principal de serviço:

• Se o espaço de trabalho estiver habilitado para federação de identidades: selecione a entidade de serviço criada na Etapa 2.
• Se seu espaço de trabalho não estiver habilitado para federação de identidades: use a ID do Cliente da Etapa 1 como ApplicationId.

Etapa 4: Obter a ID de recurso do Azure para seu espaço de trabalho

Obtenha a ID do recurso que o Azure atribui ao seu espaço de trabalho do Azure Databricks. Você precisará desse valor na Etapa 7.

1. No seu espaço de trabalho do Azure Databricks, clique no seu nome de utilizador na barra superior e clique em Portal do Azure.

2. No painel lateral, na seção Configurações , clique em Propriedades.

3. Na seção Essentials , copie o valor Id . Deve ter um aspeto semelhante ao seguinte:

   /subscriptions/<subscription-id>/resourceGroups/<resource-group-id>/providers/Microsoft.Databricks/workspaces/<workspace-id>
   

Etapa 5: Criar e fazer logon em uma VM do Azure

As VMs do Azure são um dos tipos de recursos que dão suporte a identidades gerenciadas. Você usará essa VM para executar a CLI do Databricks com autenticação de identidades gerenciadas.

Para criar e conectar-se a uma VM do Ubuntu Server usando autenticação SSH, siga as instruções em Guia de início rápido: criar uma máquina virtual Linux no portal do Azure.

Ao criar a VM:

• Use o Ubuntu Server 22.04 LTS como a imagem.
• Selecione a chave pública SSH como o tipo de autenticação.
• Observe o local do arquivo de chave privada baixado (.pem) e o endereço IP público da VM, pois você precisará deles para se conectar à VM.

Etapa 6: Atribuir a identidade gerenciada à VM do Azure

Associe sua identidade gerenciada à sua VM do Azure para que o Azure possa usá-la para autenticação. Consulte Atribuir uma identidade gerenciada atribuída pelo usuário a uma VM existente.

1. No portal do Azure, navegue até a página de configurações da sua VM do Azure e clique em Identidade na seção Configurações .
2. Na guia Usuário atribuído , clique em + Adicionar.
3. Selecione a identidade gerenciada que você criou na Etapa 1 e clique em Adicionar.

Etapa 7: Configurar a autenticação

Instale e configure a CLI do Databricks em sua VM do Azure para usar a autenticação de identidades gerenciadas do Azure.

Instalar a CLI

A partir da sua sessão SSH na VM do Azure, instale a CLI do Databricks:

sudo apt install unzip
curl -fsSL https://raw.githubusercontent.com/databricks/setup-cli/main/install.sh | sudo sh

Verifique a instalação:

databricks -v

Adicionar perfis de configuração

Crie ou edite o .databrickscfg arquivo em seu diretório pessoal (~/.databrickscfg) com o seguinte conteúdo. Consulte Perfis de configuração do Azure Databricks.

Substitua os seguintes valores:

• <account-console-url> com a URL do console de gestão do Azure Databricks.
• <account-id> com o ID da sua conta do Azure Databricks. Consulte Localizar o ID da sua conta.
• <azure-managed-identity-application-id> com o valor de ID do Cliente para sua identidade gerenciada da Etapa 1.
• <workspace-url> com o URL de cada espaço de trabalho, por exemplo https://adb-1234567890123456.7.azuredatabricks.net.
• <azure-workspace-resource-id> com a ID do recurso do Azure da Etapa 4.
• Opcionalmente, substitua os nomes AZURE_MI_ACCOUNT de perfil de configuração sugeridos e AZURE_MI_WORKSPACE por nomes diferentes.

Se você não precisar de operações no nível da conta, omita a [AZURE_MI_ACCOUNT] seção.

[AZURE_MI_ACCOUNT]
host            = <account-console-url>
account_id      = <account-id>
azure_client_id = <azure-managed-identity-application-id>
azure_use_msi   = true

[AZURE_MI_WORKSPACE]
host                        = <workspace-url>
azure_workspace_resource_id = <azure-workspace-resource-id>
azure_client_id             = <azure-managed-identity-application-id>
azure_use_msi               = true

Etapa 8: Testar a configuração

Teste a configuração executando comandos da CLI do Databricks a partir da sua sessão SSH na VM do Azure.

Para testar o acesso no nível da conta (se você o configurou na Etapa 7):

databricks account users list -p AZURE_MI_ACCOUNT

Para testar o acesso no nível do espaço de trabalho:

databricks users list -p AZURE_MI_WORKSPACE

Se você renomeou os perfis de configuração na Etapa 7, substitua AZURE_MI_ACCOUNT ou AZURE_MI_WORKSPACE por seus nomes personalizados.