Activer les clés gérées par le client pour les services managés

Pour contrôler davantage vos données, vous pouvez ajouter votre propre clé afin de les protéger et contrôler l’accès à certains types de données. Azure Databricks a plusieurs fonctionnalités clés gérées par le client. Pour comparer les fonctionnalités associées, consultez Clés gérées par le client pour le chiffrement.

Les données des services managés dans le plan de contrôle Azure Databricks sont chiffrées au repos. Vous pouvez ajouter une clé gérée par le client pour les services managés pour protéger et contrôler l’accès aux types suivants de données chiffrées :

• Source de notebook dans le plan de contrôle Azure Databricks.
• Résultats des notebooks exécutés de manière interactive (pas en tant que travaux) et stockés dans le plan de contrôle. Par défaut, les résultats plus volumineux sont également stockés dans le compartiment racine de votre espace de travail. Vous pouvez configurer Azure Databricks pour stocker tous les résultats de notebooks interactifs dans votre compte cloud.
• Secrets stockés par les API du gestionnaire de secrets.
• Requêtes SQL de Databricks et historique des requêtes.
• Jetons d’accès personnels (PAT) ou autres informations d’identification utilisées pour configurer l’intégration Git avec les dossiers Git de Databrick.

Après avoir ajouté un chiffrement de clé gérée par le client pour un espace de travail, Azure Databricks utilise votre clé pour contrôler l’accès à la clé qui chiffre les futures opérations d’écriture dans les données des services managés de votre espace de travail. Les données existantes ne sont pas rechiffrées. La clé de chiffrement des données est mise en cache dans la mémoire pour plusieurs opérations de lecture et d’écriture et régulièrement supprimée de la mémoire. Les nouvelles demandes de ces données nécessitent une autre demande au système de gestion des clés de votre service cloud. Si vous supprimez ou révoquez votre clé, la lecture ou l’écriture dans les données protégées échouent à l’issue de l’intervalle de temps du cache.

Vous pouvez faire pivoter (mettre à jour) la clé gérée par le client ultérieurement. Consultez Faire pivoter la clé ultérieurement.

Cette fonctionnalité ne chiffre pas les données stockées en dehors du plan de contrôle. Pour obtenir d’autres fonctionnalités clés gérées par le client, consultez Clés gérées par le client pour le chiffrement

Spécifications

• Pour utiliser Azure CLI pour ces tâches, installez l’outil Azure CLI et installez l’extension Databricks :

  az extension add --name databricks
  

• Pour utiliser PowerShell pour ces tâches, installez Azure PowerShell et installez le module PowerShell Databricks. Vous devez également vous connecter :

  Connect-AzAccount
  

  Pour vous connecter à votre compte Azure avec un compte d’utilisateur ou un principal de service, consultez S’authentifier avec Azure PowerShell.

Étape 1 : Configurer un coffre de clés

Vous devez créer une instance de Azure Key Vault et définir ses autorisations. Pour ce faire, vous pouvez utiliser le portail Azure, l’interface CLI ou les API.

Ces instructions portent sur de multiples options de déploiement :

• Utiliser le portail Azure
• Utilisation de l’interface de ligne de commande Microsoft Azure
• Utiliser Azure PowerShell

Utiliser le Portail Azure

1. Créez ou sélectionnez un coffre de clés :

   • Pour créer un coffre de clés, accédez à la page du portail Azure pour créer un coffre de clés. Cliquez sur + Créer. Entrez le nom du groupe de ressources, le nom du coffre de clés, la région et le niveau tarifaire. Cliquez sur Vérifier + créer, puis sur Créer.
   • Pour utiliser un coffre de clés existant, copiez son nom pour l’étape suivante.

2. Obtenez l’ID d’objet de l’application AzureDatabricks :

   1. Dans le portail Azure, accédez à Microsoft Entra ID.
   2. Dans le menu, sélectionnez Applications d’entreprise.
   3. Recherchez AzureDatabricks, puis cliquez sur l’application d’entreprise dans les résultats.
   4. Dans Propriétés, copiez l'ID de l'objet.

3. Accordez des autorisations au coffre de clés à l’aide d’Azure RBAC :

4. Accédez à l’instance Azure Key Vault que vous allez utiliser pour configurer les clés gérées par le client pour les services gérés pour votre espace de travail.

5. Dans la barre latérale, cliquez sur contrôle d'accès (IAM).

6. Cliquez sur + Ajouter > Ajouter une attribution de rôle.

7. Sous l’onglet Rôle, sélectionnez Key Vault Crypto Service Encryption User.

8. Sous l’onglet Membres, cliquez sur + pour sélectionner des membres.

9. Recherchez et sélectionnez l’identité managée du compte de stockage Azure Databricks.

10. Dans Sélectionner des membres, recherchez et sélectionnez AzureDatabrickségalement .

11. Cliquez sur Révision + affecter > Révision + affecter.

Utilisez Azure CLI

Utilisez Azure CLI pour appliquer les instructions suivantes.

1. Créez un coffre de clés ou sélectionnez un coffre de clés existant :

   • Pour créer un coffre de clés, utilisez la commande Azure CLI suivante et remplacez les éléments entre crochets par votre région, le nom du coffre de clés, le nom du groupe de ressources et l’emplacement :

     az keyvault create --location <region> \
                        --name <key-vault-name> \
                        --resource-group <resource-group-name> \
                        --location <location> \
                        --enable-purge-protection
     

   • Pour utiliser un coffre de clés existant, copiez le nom du coffre de clés pour l’étape suivante.

2. Obtenez l’ID d’objet de l’application AzureDatabricks avec Azure CLI.

   az ad sp show --id "2ff814a6-3304-4ab8-85cb-cd0e6f879c1d" \
                 --query "id" \
                 --output tsv
   

3. Vérifiez que vous utilisez l’abonnement Azure approprié :

   az account set --subscription {subscription_id}
   

Utilisez Azure PowerShell

Vous pouvez créer un coffre de clés ou en utiliser un existant.

Créez un coffre de clés :

$keyVault = New-AzKeyVault -Name <key-vault-name> \
-ResourceGroupName <resource-group-name> \
-Location <location> \
-sku <sku> \
-EnablePurgeProtection

Utilisez un coffre de clés existant :

$keyVault = Get-AzKeyVault -VaultName <key-vault-name>

Étape 2 : préparer une clé

Vous pouvez créer une clé ou utiliser une clé existante. Utilisez les outils que vous préférez utiliser : Portail Azure, Azure CLI ou d’autres outils.

Utiliser l’interface de ligne de commande Microsoft Azure

Créez une clé sous le coffre de clés. Le KeyType doit être RSA.

Pour créer la clé dans l’interface CLI, exécutez la commande suivante :

az keyvault key create --name <key-name> \
                       --vault-name <key-vault-name> \
                       --protection software

Prenez note des valeurs suivantes, que vous pouvez récupérer à partir de l’ID de clé dans la propriété kid de la réponse. Vous allez l’utiliser dans les étapes suivantes :

• URL du coffre de clés : la partie initiale de l'ID de la clé qui inclut le nom du coffre de clés. Il se présente sous la forme https://<key-vault-name>.vault.azure.net .
• Nom de clé : nom de votre clé.
• Version de la clé : Version de la clé.

L’ID complet de la clé se présente généralement sous la forme https://<key-vault-name>.vault.azure.net/keys/<key-name>/<key-version>. Les clés Azure Key Vault qui se trouvent dans un cloud non public ont une forme différente.

Pour utiliser une clé existante au lieu d’en créer une, récupérez et copiez ces valeurs pour votre clé afin de pouvoir les utiliser dans les étapes suivantes. Vérifiez que votre clé existante est activée avant de continuer.

Utiliser Azure PowerShell

1. Vous pouvez créer une clé ou récupérer une clé existante :

   • Créer une clé :

     $key = Add-AzKeyVaultKey \
     -VaultName $keyVault.VaultName \
     -Name <key-name> \
     -Destination 'Software'
     

   • Récupérer une clé existante :

     $key = Get-AzKeyVaultKey \
     -VaultName $keyVault.VaultName \
     -Name <key-name>
     

2. ** Accordez le rôle d'utilisateur du service de chiffrement Key Vault Crypto à votre espace de travail Azure Databricks et à l'identité managée de votre compte de stockage Azure Databricks sur le coffre de clés.

   
    $azureDatabricks = Get-AzureADServicePrincipal \
    -Filter "appId eq '2ff814a6-3304-4ab8-85cb-cd0e6f879c1d'"
   
    New-AzKeyVaultRoleAssignment -RoleDefinitionName "Key Vault Crypto Service Encryption User" -ObjectId $azureDatabricks.ObjectId
   
    New-AzKeyVaultRoleAssignment -RoleDefinitionName "Key Vault Crypto Service Encryption User" -ObjectId $managedService.ObjectId
   

$managedService = Get-AzureADServicePrincipal \
-Filter "appId eq '2ff814a6-3304-4ab8-85cb-cd0e6f879c1d'"

Set-AzKeyVaultAccessPolicy -VaultName $keyVault.VaultName \
-ObjectId $managedService.ObjectId \
-PermissionsToKeys wrapkey,unwrapkey,get

Étape 3 : Ajouter une clé à un espace de travail

Vous pouvez déployer un nouvel espace de travail avec une clé gérée par le client pour des services gérés ou ajouter une clé à un espace de travail existant. Vous pouvez effectuer ces deux opérations avec Azure CLI, Powershell, des modèles ARM, le Portail Azure ou d’autres outils. Vous trouverez dans cette section des détails sur les multiples options de déploiement suivantes :

• Utiliser le Portail Azure sans modèle
• Utiliser Azure CLI sans modèle
• Utiliser PowerShell sans modèle
• Appliquer des modifications avec un modèle ARM

Utiliser le Portail Azure sans modèle

1. Accédez à la page d’accueil du portail Azure.

2. Dans le coin supérieur gauche de la page, cliquez sur Créer une ressource.

3. Dans la barre de recherche, tapez Azure Databricks et cliquez sur l’option Azure Databricks.

4. Cliquez sur Créer dans le widget Azure Databricks.

5. Renseignez les champs d’entrée sous les onglets Informations de base et Réseau.

6. Une fois parvenu à l’onglet Chiffrement :

   • Pour créer un espace de travail, activez Utiliser votre propre clé dans la section Services gérés.
   • Pour mettre à jour un espace de travail, activez Services gérés.

7. Définissez le type de chiffrement.

   

   • Dans le champ Identificateur de clé, collez l’identificateur de clé de votre clé Azure Key Vault.
   • Dans la liste déroulante Abonnement, entrez le nom de l’abonnement de votre clé Azure Key Vault.

8. Complétez les onglets restants, puis cliquez sur Vérifier + créer (pour un nouvel espace de travail) ou sur Enregistrer (pour mettre à jour un espace de travail).

Utiliser Azure CLI sans modèle

1. Accordez le rôle Utilisateur du service de chiffrement de Key Vault à Azure Databricks et à votre identité managée de compte de stockage Azure Databricks sur votre coffre de clés :

   az keyvault role assignment create \
                           --role "Key Vault Crypto Service Encryption User"  \
                          --assignee-object-id <azure-databricks-service-object-id>
   
   az keyvault role assignment create \
                           --role "Key Vault Crypto Service Encryption User"  \
                          --assignee <storage-account-managed-identity>
   

az keyvault set-policy -n <key-vault-name> \
                       --key-permissions get wrapKey unwrapKey  \
                       --object-id <object-id>

1. Créer ou mettre à jour un espace de travail :

   Pour la création et la mise à jour, ajoutez ces champs à la commande :

   • managed-services-key-name : nom de la clé
   • managed-services-key-vault : URI du coffre de clés
   • managed-services-key-version: version de clé. Utilisez la version de clé spécifique et non latest.

   Exemple de création d’un espace de travail à l’aide des champs suivants :

   az databricks workspace create --name <workspace-name> \
   --resource-group <resource-group-name> \
   --location <location> \
   --sku premium \
   --managed-services-key-name <key-name> \
   --managed-services-key-vault <key-vault-uri> \
   --managed-services-key-version <key-version>
   

   Exemple de mise à jour d’un espace de travail utilisant ces champs :

   az databricks workspace update --name <workspace-name> \
   --resource-group <resource-group-name> \
   --managed-services-key-name <key-name> \
   --managed-services-key-vault <key-vault-uri> \
   --managed-services-key-version <key-version>
   

Utiliser PowerShell sans modèle

Pour créer ou mettre à jour un espace de travail, ajoutez les paramètres suivants à la commande de votre nouvelle clé :

• ManagedServicesKeyVaultPropertiesKeyName : nom de la clé
• ManagedServicesKeyVaultPropertiesKeyVaultUri : URI de la clé
• ManagedServicesKeyVaultPropertiesKeyVersion: version de clé. Utilisez la version de clé spécifique et non latest.

Exemple de création d’espace de travail avec les champs suivants :

New-AzDatabricksWorkspace -Name <workspace-name> \
-ResourceGroupName <resource-group-name> \
-location $keyVault.Location \
-sku premium \
-ManagedServicesKeyVaultPropertiesKeyName $key.Name \
-ManagedServicesKeyVaultPropertiesKeyVaultUri $keyVault.VaultUri \
-ManagedServicesKeyVaultPropertiesKeyVersion $key.Version

Exemple de mise à jour de l’espace de travail avec les champs suivants :

Update-AzDatabricksWorkspace -Name <workspace-name> \
-ResourceGroupName <resource-group-name> \
-sku premium \
-ManagedServicesKeyVaultPropertiesKeyName $key.Name \
-ManagedServicesKeyVaultPropertiesKeyVaultUri $keyVault.VaultUri \
-ManagedServicesKeyVaultPropertiesKeyVersion $key.Version

Appliquer des modifications avec un modèle ARM

Le modèle ARM suivant crée un espace de travail avec une clé gérée par le client, en utilisant la version d’API 2023-02-01 pour la ressource Microsoft.Databricks/workspaces. Enregistrez ce texte localement dans un fichier nommé databricks-cmk-template.json .

Cet exemple de modèle n’inclut pas toutes les fonctionnalités Azure Databricks possibles, comme la possibilité d’indiquer votre propre réseau virtuel dans lequel déployer l’espace de travail.

{
  "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
  "contentVersion": "1.0.0.0",
  "parameters": {
    "workspaceName": {
      "type": "string",
      "metadata": {
        "description": "The name of the Azure Databricks workspace to create."
      }
    },
    "pricingTier": {
      "type": "string",
      "defaultValue": "premium",
      "allowedValues": ["standard", "premium"],
      "metadata": {
        "description": "The pricing tier of workspace."
      }
    },
    "location": {
      "type": "string",
      "defaultValue": "[resourceGroup().location]",
      "metadata": {
        "description": "Location for all resources."
      }
    },
    "apiVersion": {
      "type": "string",
      "defaultValue": "2023-02-01",
      "allowedValues": ["2023-02-01", "2021-04-01-preview"],
      "metadata": {
        "description": "The api version to create the workspace resources"
      }
    },
    "keyvaultUri": {
      "type": "string",
      "metadata": {
        "description": "The Key Vault URI for customer-managed key for managed services"
      }
    },
    "keyName": {
      "type": "string",
      "metadata": {
        "description": "The key name used for customer-managed key for managed services"
      }
    },
    "keyVersion": {
      "type": "string",
      "metadata": {
        "description": "The key version used for customer-managed key for managed services. Use the specific key version and not `latest`."
      }
    }
  },
  "variables": {
    "managedResourceGroupName": "[concat('databricks-rg-', parameters('workspaceName'), '-', uniqueString(parameters('workspaceName'), resourceGroup().id))]"
  },
  "resources": [
    {
      "type": "Microsoft.Databricks/workspaces",
      "name": "[parameters('workspaceName')]",
      "location": "[parameters('location')]",
      "apiVersion": "[parameters('apiVersion')]",
      "sku": {
        "name": "[parameters('pricingTier')]"
      },
      "properties": {
        "ManagedResourceGroupId": "[concat(subscription().id, '/resourceGroups/', variables('managedResourceGroupName'))]",
        "encryption": {
          "entities": {
            "managedServices": {
              "keySource": "Microsoft.Keyvault",
              "keyVaultProperties": {
                "keyVaultUri": "[parameters('keyvaultUri')]",
                "keyName": "[parameters('keyName')]",
                "keyVersion": "[parameters('keyVersion')]"
              }
            }
          }
        }
      }
    }
  ],
  "outputs": {
    "workspace": {
      "type": "object",
      "value": "[reference(resourceId('Microsoft.Databricks/workspaces', parameters('workspaceName')))]"
    }
  }
}

Si vous utilisez déjà un autre modèle, vous pouvez fusionner les paramètres, ressources et sorties de ce modèle dans votre modèle existant.

Pour utiliser ce modèle en vue de créer ou de mettre à jour un espace de travail, choisissez l’une des options de déploiement suivantes :

• Appliquer un modèle avec Azure CLI
• Appliquer un modèle avec le Portail Azure

Appliquer un modèle avec Azure CLI

Pour créer un espace de travail avec Azure CLI, exécutez la commande suivante :

az deployment group create --resource-group <resource-group-name>  \
                           --template-file <file-name>.json \
                           --parameters workspaceName=<new-workspace-name> \
                           keyvaultUri=<keyvaultUrl> \
                           keyName=<keyName> keyVersion=<keyVersion>

Pour mettre à jour un espace de travail existant pour utiliser un espace de travail de clé géré par le client (ou pour faire pivoter la clé existante) à l’aide de Azure CLI :

1. Si votre modèle ARM qui a déployé l’espace de travail n’a jamais ajouté de clés gérées par le client, ajoutez la section resources.properties.encryption et ses paramètres associés. Consultez le modèle plus haut dans cet article.

   1. Ajoutez la section resources.properties.encryption au modèle.
   2. Dans la section parameters, ajoutez trois nouveaux paramètres keyvaultUri , keyName et keyVersion à partir du modèle.
   3. Dans la section parameters, supprimez "type": "string", du modèle.

2. Exécutez la même commande que pour créer un espace de travail. Tant que le nom du groupe de ressources et le nom de l’espace de travail sont identiques à votre espace de travail existant, cette commande met à jour l’espace de travail existant au lieu de créer un nouvel espace de travail.

   az deployment group create --resource-group <existing-resource-group-name>  \
                              --template-file <file-name>.json \
                              --parameters workspaceName=<existing-workspace-name> \
                              keyvaultUri=<keyvaultUrl> \
                              keyName=<keyName> keyVersion=<keyVersion>
   

   Outre les modifications apportées aux paramètres associés aux clés, utilisez les mêmes paramètres que ceux utilisés pour la création de l’espace de travail.

   Important

   Si vous faites pivoter la clé, vous devez conserver l’ancienne clé disponible pendant 24 heures.

Appliquer un modèle avec le Portail Azure

Pour utiliser le modèle dans la Portail Azure pour créer ou mettre à jour un espace de travail :

1. Allez sur la page Déploiement personnalisé :

2. Cliquez sur Créer votre propre modèle dans l’éditeur.

3. Collez le JSON.

4. Cliquez sur Enregistrer.

5. Complétez les paramètres.

   Pour mettre à jour un espace de travail existant, utilisez les mêmes paramètres que ceux que vous avez utilisés pour créer l’espace de travail. Pour ajouter une clé pour la première fois, ajoutez les trois paramètres associés à la clé. Pour faire pivoter la clé, modifiez tout ou partie des paramètres associés à la clé. Vérifiez que le nom du groupe de ressources et le nom de l’espace de travail sont identiques à votre espace de travail existant. S’ils sont identiques, cette commande met à jour l’espace de travail existant au lieu de créer un nouvel espace de travail.

   Outre les modifications apportées aux paramètres associés aux clés, utilisez les mêmes paramètres que ceux utilisés pour la création de l’espace de travail.

6. Cliquez sur Revoir + créer.

7. S’il n’y a aucun problème de validation, cliquez sur créer.

   Important

   Si vous faites pivoter la clé, vous devez conserver l’ancienne clé disponible pendant 24 heures.

Pour plus d’informations, consultez le Guide de démarrage rapide de l’article Azure : créer et déployer des modèles ARM à l’aide de l’portail Azure.

Étape 4 (facultative) : réimporter des notebooks

Une fois que vous avez initialement ajouté une clé pour les services managés d’un espace de travail existant, seules les opérations d’écriture à venir vont utiliser votre clé. Les données existantes ne sont pas rechiffrées.

Vous pouvez exporter tous les notebooks, puis les réimporter afin que la clé qui chiffre les données soit protégée et contrôlée par votre clé. Vous pouvez utiliser les API d’exportation et d’importation d’espace de travail.

Faire pivoter la clé ultérieurement

Si vous utilisez déjà une clé gérée par le client pour les services managés, vous pouvez mettre à jour l’espace de travail avec une nouvelle version de clé ou une clé entièrement nouvelle. C’est ce que l’on appelle la rotation des clés.

1. Créez une clé ou faites pivoter votre clé existante dans le coffre de clés. Consultez l’étape 1 : Configurer un coffre de clés.

   Vérifiez que la nouvelle clé dispose de l’autorisation appropriée.

2. Vérifiez que votre modèle dispose de la version d’API appropriée. Elle doit être égale ou supérieure à 2021-04-01-preview.

3. Mettez à jour l’espace de travail avec votre nouvelle clé à l’aide du portail, de l’interface CLI ou de PowerShell. Consultez Étape 3 : ajouter une clé à un espace de travail et suivre les instructions de mise à jour de l’espace de travail. Veillez à utiliser les mêmes valeurs pour le nom du groupe de ressources et le nom de l’espace de travail pour mettre à jour l’espace de travail existant, au lieu de créer un nouvel espace de travail. Outre les modifications apportées aux paramètres associés aux clés, utilisez les mêmes paramètres que ceux utilisés pour la création de l’espace de travail.

   Important

   Si vous faites pivoter la clé, vous devez conserver l’ancienne clé disponible pendant 24 heures.

4. Si vous le souhaitez, exportez et réimportez les blocs-notes existants pour vous assurer que tous les blocs-notes existants utilisent votre nouvelle clé.

Dépannage

Suppression accidentelle d’une clé

Si vous supprimez votre clé dans la Azure Key Vault, la connexion à l’espace de travail échoue et aucun bloc-notes ne peut être lu par Azure Databricks. Pour éviter cela, nous vous recommandons d’activer les suppressions réversibles. Cette option garantit que, si une clé est supprimée, elle peut être récupérée sur une période de 30 jours. Si la suppression réversible est activée, vous pouvez simplement réactiver la clé afin de résoudre le problème.

Échec de la mise à jour des clés en raison des autorisations de coffre de clés

Si vous rencontrez des problèmes lors de la création de votre espace de travail, vérifiez si votre coffre de clés dispose des autorisations appropriées. L’erreur retournée par Azure peut ne pas être indiquée correctement comme cause racine. En outre, les autorisations requises sont get , wrapKey et unwrapKey . Consultez l’étape 1 : Configurer un coffre de clés.

Les clés perdues sont irrécupérables

Si vous perdez votre clé et que vous ne pouvez pas la récupérer, toutes les données du bloc-notes chiffrées par la clé ne sont pas récupérables.