Partager via

Activer la connectivité sécurisée des clusters

Cet article explique comment utiliser la connectivité de cluster sécurisée pour les espaces de travail Azure Databricks. La connectivité de cluster sécurisée est également connue sous le nom de sans IP publique (NPIP). Les ressources de calcul serverless n’utilisent pas de connectivité de cluster sécurisée, mais n’ont pas d’adresses IP publiques.

Vue d’ensemble de la connectivité de cluster sécurisée

Quand la connectivité sécurisée des clusters est activée, les réseaux virtuels du client n’ont pas de ports ouverts et les ressources de calcul du plan de calcul classique n’ont pas d’adresses IP publiques.

  • Chaque cluster lance une connexion au relais de connectivité de cluster sécurisé du plan de contrôle lors de la création du cluster. Le cluster établit cette connexion à l’aide du port 443 (HTTPS) et utilise une adresse IP différente de celle utilisée pour l’application web et l’API REST.
  • Lorsque le plan de contrôle effectue des tâches d’administration de cluster, ces requêtes sont envoyées au cluster via ce tunnel.

Remarque

Tout le trafic réseau Azure Databricks entre le réseau virtuel du plan de calcul classique et le plan de contrôle Azure Databricks passe par la dorsale principale du réseau Microsoft au lieu de l’Internet public. Cela est vrai même si la connectivité sécurisée des clusters est désactivée.

Vous pouvez activer la connectivité de cluster sécurisée sur un nouvel espace de travail ou l'ajouter à un espace de travail existant qui utilise déjà l'injection de réseau virtuel .

Activer la connectivité de cluster sécurisée sur un nouvel espace de travail

La connectivité de cluster sécurisée est automatiquement activée lorsque vous créez un espace de travail à l’aide du portail Azure ou d’un modèle Azure Resource Manager (ARM).

  • Portail Azure : Lorsque vous approvisionnez l’espace de travail, sous l’onglet Mise en réseau , déployez l’espace de travail Azure Databricks avec une connectivité de cluster sécurisée (aucune adresse IP publique) est défini par défaut sur Oui.

    Pour obtenir des instructions détaillées sur l’utilisation du portail Azure pour créer un espace de travail, consultez Utiliser le portail pour créer un espace de travail Azure Databricks.

  • Modèle ARM : Le paramètre enableNoPublicIp dans la ressource Microsoft.Databricks/workspaces est défini par défaut true dans la version 2024-05-01 et ultérieure. Si le enableNoPublicIp paramètre n’est pas explicitement inclus dans le modèle, il se comporte comme s’il était défini sur true. Vous pouvez remplacer explicitement cette valeur par défaut en définissant la valeur enableNoPublicIp false dans votre modèle.

    Pour obtenir des instructions détaillées sur l’utilisation d’un modèle ARM pour créer un espace de travail, consultez Déployer un espace de travail avec un modèle ARM. Pour connaître les modèles ARM qui utilisent l’injection de réseau virtuel, consultez Déployer Azure Databricks dans votre réseau virtuel Azure (injection de réseau virtuel).

Ajoutez une connectivité de cluster sécurisée à un espace de travail existant

Vous pouvez activer la connectivité de cluster sécurisée sur un espace de travail existant à l’aide du portail Azure, d’un modèle ARM ou de azurerm fournisseur Terraform version 3.41.0+. La mise à niveau nécessite que l’espace de travail utilise l’injection dans un réseau virtuel.

Important

Si vous utilisez un pare-feu ou d’autres configurations réseau pour contrôler l’entrée ou la sortie à partir du plan de calcul classique, vous devrez peut-être mettre à jour vos règles de pare-feu ou de groupe de sécurité réseau lors de l’activation de la connectivité sécurisée du cluster pour que les modifications prennent effet. Par exemple, à l’aide d’une connectivité de cluster sécurisée, il existe une connexion sortante supplémentaire au plan de contrôle et les connexions entrantes du plan de contrôle ne sont plus utilisées.

Étape 1 : Arrêtez toutes les ressources de calcul

Arrêtez toutes les ressources de calcul classiques telles que les clusters, les pools ou les entrepôts SQL classiques. Databricks recommande de planifier le moment de la mise à niveau pour les temps d’arrêt.

Étape 2 : Mettre à jour l'espace de travail

Vous pouvez mettre à jour l’espace de travail à l’aide du portail Azure, d’un modèle ARM ou de Terraform.

Utiliser le portail Azure

  1. Accédez à votre espace de travail Azure Databricks dans le portail Azure.
  2. Dans le volet de navigation de gauche, sous Paramètres, cliquez sur Mise en réseau.
  3. Dans l’onglet Accès au réseau, définissez Déployer l’espace de travail Azure Databricks avec une connectivité de cluster sécurisée (aucune adresse IP publique) sur Activée.
  4. Cliquez sur Enregistrer.

La mise à jour du réseau peut durer plus de 15 minutes.

Appliquer un modèle ARM mis à jour à l’aide du Portail Azure

Utilisez un modèle ARM pour définir le paramètre enableNoPublicIp sur True (true).

Remarque

Si le nom du groupe de ressources managées est personnalisé, modifiez le modèle en conséquence. Contactez l’équipe de votre compte Azure Databricks pour plus d’informations.

  1. Copiez le JSON du modèle ARM de mise à niveau suivant :

    {
  "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
  "contentVersion": "1.0.0.0",
  "parameters": {
    "location": {
      "defaultValue": "[resourceGroup().location]",
      "type": "String",
      "metadata": {
        "description": "Location for all resources."
      }
    },
    "workspaceName": {
      "type": "String",
      "metadata": {
        "description": "The name of the Azure Databricks workspace to create."
      }
    },
    "apiVersion": {
      "defaultValue": "2023-02-01",
      "allowedValues": ["2018-04-01", "2020-02-15", "2022-04-01-preview", "2023-02-01"],
      "type": "String",
      "metadata": {
        "description": "2018-03-15 for 'full region isolation control plane' and 2020-02-15 for 'FedRAMP certified' regions"
      }
    },
    "enableNoPublicIp": {
      "defaultValue": true,
      "type": "Bool"
    },
    "pricingTier": {
      "defaultValue": "premium",
      "allowedValues": ["premium", "standard", "trial"],
      "type": "String",
      "metadata": {
        "description": "The pricing tier of workspace."
      }
    },
    "publicNetworkAccess": {
      "type": "string",
      "defaultValue": "Enabled",
      "allowedValues": ["Enabled", "Disabled"],
      "metadata": {
        "description": "Indicates whether public network access is allowed to the workspace - possible values are Enabled or Disabled."
      }
    },
    "requiredNsgRules": {
      "type": "string",
      "defaultValue": "AllRules",
      "allowedValues": ["AllRules", "NoAzureDatabricksRules"],
      "metadata": {
        "description": "Indicates whether to retain or remove the AzureDatabricks outbound NSG rule - possible values are AllRules or NoAzureDatabricksRules."
      }
    }
  },
  "variables": {
    "managedResourceGroupName": "[concat('databricks-rg-', parameters('workspaceName'), '-', uniqueString(parameters('workspaceName'), resourceGroup().id))]",
    "managedResourceGroupId": "[subscriptionResourceId('Microsoft.Resources/resourceGroups', variables('managedResourceGroupName'))]"
  },
  "resources": [
    {
      "type": "Microsoft.Databricks/workspaces",
      "apiVersion": "[parameters('apiVersion')]",
      "name": "[parameters('workspaceName')]",
      "location": "[parameters('location')]",
      "sku": {
        "name": "[parameters('pricingTier')]"
      },
      "properties": {
        "ManagedResourceGroupId": "[variables('managedResourceGroupId')]",
        "publicNetworkAccess": "[parameters('publicNetworkAccess')]",
        "requiredNsgRules": "[parameters('requiredNsgRules')]",
        "parameters": {
          "enableNoPublicIp": {
            "value": "[parameters('enableNoPublicIp')]"
          }
        }
      }
    }
  ]
}

    1. Accédez à la page Déploiement personnalisé du Portail Azure.

    2. Cliquez sur Créer votre propre modèle dans l’éditeur.

    3. Collez le JSON du modèle que vous avez copié.

    4. Cliquez sur Enregistrer.

    5. Complétez les paramètres.

    6. Pour mettre à jour un espace de travail existant, utilisez les mêmes paramètres que ceux que vous avez utilisés pour créer l’espace de travail, à l’exception de enableNoPublicIp, que vous devez définir truesur . Définissez l’abonnement, la région, le nom de l’espace de travail, les noms de sous-réseau et l’ID de ressource du réseau virtuel existant.

      Important

      Le nom du groupe de ressources, le nom de l'espace de travail et les noms de sous-réseau sont identiques à votre espace de travail existant, de sorte que cette commande met à jour l'espace de travail existant plutôt que de créer un nouvel espace de travail.

    7. Cliquez sur Revoir + créer.

    8. S’il n’y a aucun problème de validation, cliquez sur créer.

    La mise à jour du réseau peut durer plus de 15 minutes.

Appliquer une mise à jour à l'aide de Terraform

Pour les espaces de travail créés avec Terraform, vous pouvez mettre à jour l’espace de travail sans le recréer.

Important

Vous devez utiliser terraform-provider-azurerm version 3.41.0 ou ultérieure. Vous devez donc, si nécessaire, mettre à niveau la version de votre fournisseur Terraform. Les versions antérieures tentent de recréer l'espace de travail lorsque vous modifiez l'un de ces paramètres.

Vous pouvez gérer les paramètres d'espace de travail suivants :

  • no_public_ip dans le bloc custom_parameters peut être modifié de false à true.

La mise à jour du réseau peut durer plus de 15 minutes.

Étape 3 : Validez la mise à jour

Une fois l’espace de travail dans un état actif, le travail de mise à jour est terminé. Vérifiez que la mise à jour a été appliquée :

  1. Ouvrez Azure Databricks dans votre navigateur Web.

  2. Démarrez l’un des clusters de l’espace de travail et attendez que le cluster soit entièrement démarré.

  3. Accédez à votre instance d’espace de travail dans le Portail Microsoft Azure.

  4. Cliquez sur l'ID bleu à côté du champ intitulé Groupe de ressources managées.

  5. Dans ce groupe, recherchez les machines virtuelles du cluster et cliquez sur l'une d'elles.

  6. Dans les paramètres de la VM, dans Propriétés, recherchez les champs dans la zone Réseau.

  7. Confirmez que le champ Adresse IP publique est vide.

    Si elle est remplie, la machine virtuelle a une adresse IP publique, ce qui signifie que la mise à jour a échoué.

Annulation temporaire de la mise à niveau pour sécuriser la connectivité du cluster

Si un problème se produit pendant le déploiement, vous pouvez temporairement inverser le processus en définissant enableNoPublicIp sur false. Toutefois, la désactivation de la connectivité sécurisée du cluster n’est prise en charge qu’en tant que restauration temporaire avant de poursuivre la mise à niveau ultérieurement. Si cela est nécessaire temporairement, vous pouvez suivre les instructions ci-dessus pour la mise à niveau, mais en les définissant enableNoPublicIp sur false au lieu de true.

Sortie de sous-réseaux d’espace de travail

Lorsque vous activez la connectivité de cluster sécurisée, les deux sous-réseaux de votre espace de travail sont des sous-réseaux privés, car les nœuds de cluster n’ont pas d’adresses IP publiques.

Les détails de l’implémentation de sortie réseau varient selon que vous utilisez le réseau virtuel par défaut (géré) ou si vous utilisez l’injection de réseau virtuel pour fournir votre propre réseau virtuel dans lequel déployer votre espace de travail.

Important

L’augmentation du trafic de sortie résultant de l’utilisation de la connectivité sécurisée des clusters peut occasionner des coûts supplémentaires. Pour le déploiement le plus sécurisé, Microsoft et Databricks vous recommandent vivement d’activer la connectivité de cluster sécurisée.

Sortie avec un réseau virtuel par défaut (managé)

Si vous utilisez une connectivité de cluster sécurisée avec le réseau virtuel par défaut créé par Azure Databricks, Azure Databricks crée automatiquement une passerelle NAT pour le trafic sortant des sous-réseaux de votre espace de travail vers le réseau principal azure et le réseau public. La passerelle NAT est créée dans le groupe de ressources managé par Azure Databricks. Vous ne pouvez modifier ni ce groupe de ressources, ni les ressources qui y sont approvisionnées. Cette passerelle NAT entraîne des coûts supplémentaires.

Sortie avec une injection de réseau virtuel

Si vous activez la connectivité de cluster sécurisée sur votre espace de travail qui utilise l’injection de réseau virtuel, Databricks recommande que votre espace de travail dispose d’une adresse IP publique de sortie stable. Les adresses IP publiques de sortie stables sont utiles, car vous pouvez les ajouter à des listes d’autorisation externes. Par exemple, pour vous connecter à Salesforce à partir d’Azure Databricks avec une adresse IP sortante stable.

Avertissement

Microsoft a annoncé qu’après le 31 mars 2026, les nouveaux réseaux virtuels seront par défaut des configurations privées sans accès Internet sortant. Cela nécessite des méthodes de connectivité sortante explicites pour atteindre les points de terminaison publics et les services Microsoft. Pour plus d’informations, consultez cette annonce . Cette modification n’affecte pas les espaces de travail existants. Toutefois, les nouveaux espaces de travail Azure Databricks déployés après cette date nécessitent une méthode sortante sécurisée, telle qu’une passerelle NAT, pour garantir une fonctionnalité de cluster appropriée.

Pour fournir une connectivité Internet pour vos déploiements, utilisez une passerelle NAT Azure. Configurez la passerelle sur les deux sous-réseaux de l’espace de travail pour garantir que tous les itinéraires de trafic sortant sont acheminés via celui-ci avec une adresse IP publique de sortie stable. Cela fournit une connectivité Internet sortante cohérente pour vos clusters et vous permet de modifier la configuration pour les besoins de sortie personnalisés. Vous pouvez configurer la passerelle NAT à l’aide d’un modèle Azure ou à partir du portail Azure.

Avertissement

N’utilisez pas d’équilibreur de charge de sortie avec un espace de travail pour lequel la connectivité de cluster sécurisée est activée. Dans les systèmes de production, un équilibreur de charge de sortie peut entraîner un risque d’épuisement des ports.

Meilleures pratiques de configuration du pare-feu

Toujours autoriser la liste des noms de domaine fournis (FQDN) pour les points de terminaison de relais SCC au lieu d’adresses IP individuelles. Les adresses IP derrière ces domaines changent régulièrement en raison des mises à jour de l’infrastructure.

Les clients qui autorisent la liste d’adresses IP spécifiques peuvent rencontrer des interruptions de service lorsque des modifications de l’infrastructure se produisent. Si vous devez utiliser des adresses IP, vous devez récupérer régulièrement nos dernières adresses IP et conserver vos configurations de pare-feu mises à jour.

  • Last updated on