Compartilhar via

Autentique-se com o Azure DevOps no Azure Databricks

Saiba como configurar seus pipelines do Azure DevOps para fornecer autenticação para comandos da CLI do Databricks e chamadas à API em sua automação.

Autenticação do Azure DevOps

O gerenciamento da autenticação (própria e de terceiros) no Azure DevOps é feito com conexões de serviço. No portal do Azure DevOps, você pode acessar conexões de serviço em qualquer página do projeto em Configurações do projeto.

Selecione Conexões de serviço em Configurações do projeto no Azure DevOps

Para autenticar e autorizar o acesso à CLI do Azure Databricks em recursos do Azure DevOps, use o tipo de conexão de serviço Azure Resource Manager. Para esse tipo, escolha um dos seguintes métodos de autenticação:

  • Federação de identidade de carga de trabalho do Microsoft Entra
    • Usa o protocolo OpenID Connect (OIDC) para adquirir tokens em nome de uma entidade de serviço.
    • Exige que você configure os problemas gerados pelo Azure DevOps e o identificador de assunto com a entidade de serviço que você pretende usar.
    • Mecanismo de autenticação aplicável: CLI do Azure.
  • Entidade de serviço Microsoft Entra
    • Usa uma ID de cliente e um segredo de cliente do MS Entra para gerar um token OAuth de curta duração.
    • Exige que você gere um segredo para a entidade de serviço que você pretende usar para a conexão de serviço.
    • Mecanismos de autenticação aplicáveis: CLI do Azure, segredos do cliente do Microsoft Entra.
  • Identidade gerenciada de Microsoft Entra ID

Depois de escolher o mecanismo de autenticação que melhor corresponda às necessidades do projeto, você deverá configurá-lo na definição de pipeline do Azure DevOps (pipeline.yml) para trabalhar com a CLI do Azure Databricks.

Configure o pipeline do Azure DevOps para usar a CLI do Azure para autenticação

Por padrão, a CLI do Azure Databricks usará a CLI do Azure como o mecanismo para autenticar com o Azure Databricks.

Observe que o uso da CLI do Azure para autenticação requer que todas as chamadas para a CLI do Azure Databricks sejam feitas em um AzureCLI@2 task, o que significa que não há como compartilhar uma sessão autenticada em tarefas subsequentes. Cada tarefa é autenticada de forma independente, o que introduz latência à medida que são executadas.

A seguinte configuração de exemplo do Azure Pipelines usa a CLI do Azure para autenticar e executar o comando da CLI bundle deploy do Azure Databricks:

- task: AzureCLI@2
  inputs:
    azureSubscription: {your-azure-subscription-id-here}
    useGlobalConfig: true
    scriptType: bash
    scriptLocation: inlineScript
    inlineScript: |
      export DATABRICKS_HOST=https://adb...
      databricks bundle deploy

Ao configurar o pipeline do Azure DevOps para usar a CLI do Azure para executar comandos da CLI do Azure Databricks, faça o seguinte:

  • Use azureSubscription para configurar a conexão de serviço que você deseja usar.
  • Configure useGlobalConfig para usar o padrão AZURE_CONFIG_FILE porque os comandos databricks bundle usam filtragem de variável de ambiente para subprocessos. Se isso não estiver definido, esses subprocessos não poderão encontrar os detalhes da sessão autenticada.
  • Se ele ainda não estiver exportado (como em uma etapa anterior ou na configuração do pacote), exporte a variável de DATABRICKS_HOST ambiente.

Configurar o pipeline do Azure DevOps para usar um segredo de cliente do Microsoft Entra para autenticação

Se você não quiser usar a CLI do Azure para autenticação porque ela adiciona muita latência ou porque você precisa usar a CLI do Azure em um tipo de tarefa diferente, use um segredo do cliente do Microsoft Entra. Os detalhes de autenticação devem ser recuperados da conexão de serviço, portanto, você deve usar a tarefa AzureCLI@2 na declaração do pipeline.

Use a AzureCLI@2 tarefa para recuperar o ID do cliente e o segredo do cliente de sua conexão de serviço e, em seguida, exporte-os como variáveis de ambiente. As tarefas subsequentes podem usá-los diretamente. Para obter um exemplo, confira Usar uma entidade de serviço do Microsoft Entra para gerenciar pastas Git do Databricks.

A seguinte configuração de exemplo do Azure Pipelines usa um segredo do cliente do Microsoft Entra para autenticar e executar o comando da CLI bundle deploy do Azure Databricks:

- task: AzureCLI@2
  inputs:
    azureSubscription: {your-azure-subscription-id-here}
    addSpnToEnvironment: true
    scriptType: bash
    scriptLocation: inlineScript
    inlineScript: |
      echo "##vso[task.setvariable variable=ARM_CLIENT_ID]${servicePrincipalId}"
      echo "##vso[task.setvariable variable=ARM_CLIENT_SECRET]${servicePrincipalKey}"
      echo "##vso[task.setvariable variable=ARM_TENANT_ID]${tenantId}"

- script: |
    export DATABRICKS_HOST=https://adb...
    databricks bundle deploy

Ao configurar o pipeline do Azure DevOps para usar os segredos do cliente do Microsoft Entra para executar comandos da CLI do Azure Databricks, faça o seguinte:

  • Configure addSpnToEnvironment para exportar variáveis de ambiente relevantes para o script embutido.
  • O script em linha exporta as variáveis de ambiente com escopo de tarefa como variáveis de ambiente com escopo de trabalho em nomes que a CLI do Azure Databricks seleciona automaticamente.
  • Se ele ainda não estiver exportado (como em uma etapa anterior ou na configuração do pacote), exporte a variável de DATABRICKS_HOST ambiente.
  • Se você marcar a ARM_CLIENT_SECRET variável de ambiente com issecret=true, deverá adicioná-la explicitamente a cada etapa subsequente que precise dela.
    • Se você não fizer isso, a ARM_CLIENT_SECRET variável de ambiente estará acessível a cada etapa subsequente.
    • A ARM_CLIENT_SECRET variável de ambiente é mascarada na saída, independentemente da configuração.

Configurar o pipeline do Azure DevOps para usar uma identidade gerenciada do Microsoft Entra para autenticação

Como a autenticação de identidade gerenciada do Azure depende da configuração de contêiner ou máquina virtual para garantir que a CLI do Azure Databricks seja executada sob a identidade certa, sua configuração de pipeline do Azure DevOps não exige que você especifique a AzureCLI@2 tarefa.

A seguinte configuração de exemplo do Azure Pipelines usa uma identidade gerenciada do Microsoft Entra para autenticar e executar o comando da CLI bundle deploy do Azure Databricks:

- script: |
    export DATABRICKS_AZURE_RESOURCE_ID=/subscriptions/<id>/resourceGroups/<name>/providers/Microsoft.Databricks/workspaces/<name>
    export ARM_CLIENT_ID=eda1f2c4-07cb-4c2c-a126-60b9bafee6d0
    export ARM_USE_MSI=true
    export DATABRICKS_HOST=https://adb...
    databricks current-user me --log-level trace

Ao configurar o pipeline do Azure DevOps para usar as identidades gerenciadas do Microsoft Entra para executar comandos da CLI do Azure Databricks, faça o seguinte:

  • A identidade gerenciada da Microsoft Entra deve receber a função "Colaborador" no espaço de trabalho do Databricks que ela acessará.
  • O valor da variável de DATABRICKS_AZURE_RESOURCE_ID ambiente é encontrado em Propriedades da instância do Azure Databricks no portal do Azure.
  • O valor da variável de ARM_CLIENT_ID ambiente é a ID do cliente da identidade gerenciada.

Observação

Se a DATABRICKS_HOST variável de ambiente não for especificada nessa configuração, o valor será inferido de DATABRICKS_AZURE_RESOURCE_ID.

Instalar a CLI do Azure Databricks do pipeline do Azure Pipelines

Depois de configurar seus mecanismos de autenticação preferenciais, você deve instalar a CLI do Azure Databricks no host ou agente que executará os comandos da CLI do Azure Databricks.

# Install Databricks CLI
- script: |
    curl -fsSL https://raw.githubusercontent.com/databricks/setup-cli/main/install.sh | sh
  displayName: 'Install Databricks CLI'

Dica

  • Se você não quiser instalar automaticamente a versão mais recente da CLI do Azure Databricks, substitua main na URL do instalador por uma versão específica (por exemplo, v0.224.0).

Práticas recomendadas

  • O Databricks recomenda que você use a federação de identidade de carga de trabalho do Microsoft Entra como o método de autenticação de sua escolha. Ele não depende de segredos e é mais seguro do que outros métodos de autenticação. Ele funciona automaticamente com a AzureCLI@2 tarefa sem qualquer configuração manual.

    Para obter mais detalhes, consulte Criar uma conexão de serviço do Azure Resource Manager que usa a federação de identidade de carga de trabalho.

Consulte também

  • Last updated on