Utiliser des identités managées Azure avec Azure Databricks

Cette page vous montre comment configurer et utiliser l’authentification des identités managées Azure pour automatiser vos comptes et espaces de travail Azure Databricks.

Azure gère automatiquement les identités dans l’ID Microsoft Entra pour que les applications s’authentifient avec les ressources qui prennent en charge l’authentification d’ID Microsoft Entra, y compris les comptes et espaces de travail Azure Databricks. Cette méthode d’authentification obtient des jetons d’ID Microsoft Entra sans avoir à gérer les informations d’identification.

Cette page vous guide tout au long de la création d’une identité managée affectée par l’utilisateur et de son affectation à votre compte Azure Databricks, à votre espace de travail et à votre machine virtuelle Azure (machine virtuelle Azure). Vous installez et configurez l’interface CLI Databricks sur votre machine virtuelle Azure pour utiliser l’authentification des identités managées Azure et exécuter des commandes pour automatiser votre compte et votre espace de travail Azure Databricks.

• Pour en savoir plus sur les identités managées, consultez la section Que sont les identités managées pour les ressources Azure ?.
• Pour plus d’informations sur l’authentification des identités managées Azure pour Azure Databricks, consultez Authentifier avec des identités managées Azure.

Spécifications

• Autorisations RBAC Azure pour créer et affecter des identités managées.
• Rôle d’administrateur de compte ou d’espace de travail pour affecter des identités managées à Azure Databricks. Consultez Attribuer des rôles d’administrateur de compte à un utilisateur et attribuer le rôle d’administrateur d’espace de travail à un utilisateur.
• Rôles Contributeur de machines virtuelles et Opérateur d’identité managée pour créer une machine virtuelle Azure et lui attribuer l’identité managée.

Étape 1 : Créer une identité managée affectée par l’utilisateur

Créez une identité managée affectée par l’utilisateur pour les ressources Azure. Azure prend en charge les identités managées affectées par le système et affectées par l’utilisateur. Databricks recommande d’utiliser des identités managées affectées par l’utilisateur pour l’authentification des identités managées Azure avec Azure Databricks.

Pour créer une identité managée affectée par l’utilisateur, suivez les instructions fournies dans Gérer les identités managées affectées par l’utilisateur à l’aide du portail Azure.

Après avoir créé l’identité managée, copiez la valeur de l’ID client à partir de la page de vue d’ensemble de l’identité managée. Vous aurez besoin de cette valeur dans les étapes 2, 3 et 7.

Étape 2 : Affecter l’identité managée à votre compte

Attribuez votre identité managée à votre compte Azure Databricks. Databricks traite les identités gérées en tant qu'entités de service. Si vous n’avez pas besoin d’un accès au niveau du compte, passez à l’étape 3.

Suivez les instructions de l’instruction Ajouter des principaux de service à votre compte. Choisissez l’ID Microsoft Entra géré et collez l’ID client de l’étape 1 comme ID d’application Microsoft Entra.

Étape 3 : Affecter l’identité managée à votre espace de travail

Attribuez l’identité managée à votre espace de travail Azure Databricks. Databricks traite les identités gérées en tant qu'entités de service. Suivez les instructions de Attribuer un principal de service à un espace de travail.

Lors de l’ajout du principal de service :

• Si votre espace de travail est activé pour la fédération d’identité : sélectionnez le principal de service que vous avez créé à l’étape 2.
• Si votre espace de travail n’est pas activé pour la fédération d’identité : utilisez l’ID client de l’étape 1 comme Id d’application.

Étape 4 : Obtenir l’ID de ressource Azure pour votre espace de travail

Obtenez l’ID de ressource qu’Azure affecte à votre espace de travail Azure Databricks. Vous aurez besoin de cette valeur à l’étape 7.

1. Dans votre espace de travail Azure Databricks, cliquez sur votre nom d’utilisateur dans la barre supérieure, puis sur Portail Azure.

2. Dans le volet latéral, dans la section Paramètres, cliquez sur Propriétés.

3. Dans la section Essentials , copiez la valeur Id . Celui-ci doit se présenter comme suit :

   /subscriptions/<subscription-id>/resourceGroups/<resource-group-id>/providers/Microsoft.Databricks/workspaces/<workspace-id>
   

Étape 5 : Créer et se connecter à une machine virtuelle Azure

Les machines virtuelles Azure sont l’un des types de ressources prenant en charge les identités managées. Vous allez utiliser cette machine virtuelle pour exécuter l’interface CLI Databricks avec l’authentification des identités managées.

Pour créer et se connecter à une machine virtuelle Ubuntu Server à l’aide de l’authentification SSH, suivez les instructions de démarrage rapide : Créer une machine virtuelle Linux dans le portail Azure.

Lors de la création de la machine virtuelle :

• Utilisez Ubuntu Server 22.04 LTS comme image.
• Sélectionnez la clé publique SSH comme type d’authentification.
• Notez l’emplacement de votre fichier de clé privée téléchargé (.pem) et l’adresse IP publique de la machine virtuelle, car vous en aurez besoin pour vous connecter à la machine virtuelle.

Étape 6 : Affecter l’identité managée à la machine virtuelle Azure

Associez votre identité managée à votre machine virtuelle Azure afin qu’Azure puisse l’utiliser pour l’authentification. Consultez Affecter une identité managée affectée par l’utilisateur à une machine virtuelle existante.

1. Dans le portail Azure, accédez à la page des paramètres de votre machine virtuelle Azure, puis cliquez sur Identité dans la section Paramètres .
2. Sous l’onglet Affectée par l’utilisateur, cliquez sur + Ajouter.
3. Sélectionnez l’identité managée que vous avez créée à l’étape 1, puis cliquez sur Ajouter.

Étape 7 : Configurer l’authentification

Installez et configurez l’interface CLI Databricks sur votre machine virtuelle Azure pour utiliser l’authentification des identités managées Azure.

Installer l’interface CLI

À partir de votre session SSH sur la machine virtuelle Azure, installez l’interface CLI Databricks :

sudo apt install unzip
curl -fsSL https://raw.githubusercontent.com/databricks/setup-cli/main/install.sh | sudo sh

Vérifiez l’installation :

databricks -v

Ajouter des profils de configuration

Créez ou modifiez le .databrickscfg fichier dans votre répertoire de base (~/.databrickscfg) avec le contenu suivant. Consultez les profils de configuration Azure Databricks.

Remplacez les valeurs suivantes :

• <account-console-url> avec votre URL de console de compte Azure Databricks.
• <account-id> avec votre ID de compte Azure Databricks. Consultez Localiser votre ID de compte.
• <azure-managed-identity-application-id> avec la valeur Client ID de votre identité managée à l’étape 1.
• <workspace-url> avec votre URL par espace de travail, par exemple https://adb-1234567890123456.7.azuredatabricks.net.
• <azure-workspace-resource-id> avec l’ID de ressource Azure de l’étape 4.
• Si vous le souhaitez, remplacez les noms AZURE_MI_ACCOUNT de profil de configuration suggérés et AZURE_MI_WORKSPACE par différents noms.

Si vous n’avez pas besoin d’opérations au niveau du compte, omettez la [AZURE_MI_ACCOUNT] section.

[AZURE_MI_ACCOUNT]
host            = <account-console-url>
account_id      = <account-id>
azure_client_id = <azure-managed-identity-application-id>
azure_use_msi   = true

[AZURE_MI_WORKSPACE]
host                        = <workspace-url>
azure_workspace_resource_id = <azure-workspace-resource-id>
azure_client_id             = <azure-managed-identity-application-id>
azure_use_msi               = true

Étape 8 : Tester la configuration

Testez la configuration en exécutant des commandes CLI Databricks à partir de votre session SSH sur la machine virtuelle Azure.

Pour tester l’accès au niveau du compte (si vous l’avez configuré à l’étape 7) :

databricks account users list -p AZURE_MI_ACCOUNT

Pour tester l’accès au niveau de l’espace de travail :

databricks users list -p AZURE_MI_WORKSPACE

Si vous avez renommé les profils de configuration à l’étape 7, remplacez AZURE_MI_ACCOUNT ou AZURE_MI_WORKSPACE par vos noms personnalisés.