Déployer Azure Databricks dans votre réseau virtuel Azure (injection dans le réseau virtuel)

Déployez Azure Databricks dans votre réseau virtuel Azure pour activer la personnalisation du réseau, sécuriser la connectivité aux services Azure et aux sources de données locales et fonctionnalités d’inspection du trafic.

Pourquoi utiliser l’injection de réseau virtuel

L’injection de réseau virtuel déploie des ressources de plan de calcul Azure Databricks classiques dans votre propre réseau virtuel, ce qui permet de :

• Connectivité privée aux services Azure à l’aide de points de terminaison de service ou de points de terminaison privés
• Accès local via des itinéraires définis par l’utilisateur
• Analyse du trafic avec des appliances réseau virtuelles
• Configuration DNS personnalisée
• Contrôle de trafic de sortie avec des règles de groupe de sécurité réseau supplémentaires
• Plages CIDR flexibles (réseau virtuel : /16 à /24, sous-réseaux : jusqu’à /26)

Conditions requises pour les autorisations

Autorisations Azure : le créateur de l’espace de travail doit avoir le rôle contributeur réseau sur le réseau virtuel ou un rôle personnalisé avec Microsoft.Network/virtualNetworks/subnets/join/action et Microsoft.Network/virtualNetworks/subnets/write autorisations.

Configuration du réseau virtuel

1. Vous devez configurer un réseau virtuel pour déployer l’espace de travail Azure Databricks. Vous pouvez utiliser un réseau virtuel existant ou en créer un nouveau. Le réseau virtuel doit répondre aux exigences suivantes :
   • Région : le réseau virtuel doit résider dans la même région que l’espace de travail Azure Databricks.
   • Abonnement : le réseau virtuel doit se trouver dans le même abonnement que l’espace de travail Azure Databricks.
   • Espace d’adressage : bloc CIDR entre /16 et /24 pour le réseau virtuel. Pour obtenir des conseils sur le nombre maximal de nœuds de cluster en fonction de la taille du réseau virtuel, consultez les instructions relatives à l’espace d’adressage.
   • Sous-réseaux : le réseau virtuel doit inclure deux sous-réseaux dédiés à votre espace de travail Azure Databricks :
     • Un sous-réseau de conteneur (parfois appelé sous-réseau privé)
     • Sous-réseau hôte (parfois appelé sous-réseau public)
     • Chaque sous-réseau doit utiliser un bloc CIDR qui est au moins /26. Databricks ne recommande pas un sous-réseau inférieur à /26.
     • Vous ne pouvez pas partager de sous-réseaux entre des espaces de travail ou déployer d’autres ressources Azure sur les sous-réseaux utilisés par votre espace de travail Azure Databricks.
     • Nous recommandons que la taille des sous-réseaux soit identique.
   • Connectivité sortante pour le trafic de sortie : Databricks recommande d’utiliser une passerelle NAT Azure vers les deux sous-réseaux pour les adresses IP de sortie stables. Après le 31 mars 2026, les nouveaux réseaux virtuels nécessitent des méthodes de connectivité sortante explicites. Consultez la connectivité sécurisée des clusters.
   • Règles de groupe de sécurité réseau : Consultez les règles de groupe de sécurité réseau

Recommandations sur l’espace d’adressage

Un espace de travail Azure Databricks nécessite deux sous-réseaux dans le réseau virtuel : un sous-réseau de conteneurs et un sous-réseau d’hôtes. Azure réserve cinq adresses IP dans chaque sous-réseau. Azure Databricks nécessite deux adresses IP pour chaque nœud de cluster : une adresse IP pour l’hôte dans le sous-réseau hôte et une adresse IP pour le conteneur dans le sous-réseau de conteneur.

Tenez compte des éléments suivants lors de la planification de votre espace d’adressage :

• Vous pouvez créer plusieurs espaces de travail au sein d’un seul réseau virtuel. Étant donné que vous ne pouvez pas partager de sous-réseaux entre les espaces de travail, planifiez les sous-réseaux qui n’utilisent pas l’espace d’adressage total du réseau virtuel.
• Allouez de l’espace d’adressage pour deux nouveaux sous-réseaux qui se trouvent dans l’espace d’adressage du réseau virtuel et qui ne chevauchent pas l’espace d’adressage des sous-réseaux actuels ou futurs dans ce réseau virtuel.

Un espace de travail doté d’un réseau virtuel plus restreint peut épuiser sa réserve d’adresses IP (espace réseau) plus rapidement qu’un espace de travail doté d’un réseau virtuel plus étendu. Utilisez un bloc CIDR entre /16 et /24 pour le réseau virtuel et un bloc CIDR pouvant aller jusqu’à /26 pour les deux sous-réseaux (le sous-réseau de conteneurs et le sous-réseau d’hôtes). Vous pouvez créer un bloc CIDR allant jusqu'à /28 pour vos sous-réseaux. Toutefois, Azure Databricks ne recommande pas de créer un sous-réseau plus petit que /26.

Étape 1 : Créer un espace de travail

Créez un espace de travail dans le portail Azure et déployez-le sur votre réseau virtuel.

1. Dans le portail Azure, sélectionnez + Créer une ressource > Analytics > Azure Databricks ou recherchez Azure Databricks.

2. Sous l’onglet Mise en réseau , sélectionnez votre réseau virtuel.

   Important

   Si le réseau virtuel n’apparaît pas, vérifiez que l’espace de travail et le réseau virtuel se trouvent dans la même région Azure.

3. Configurez les sous-réseaux avec des plages CIDR jusqu’à /26 (80 caractères maximum pour les noms) :

   • Sous-réseaux existants : entrez des noms de sous-réseaux exacts et des plages d’adresses IP correspondantes
   • Nouveaux sous-réseaux : entrez de nouveaux noms et plages d’adresses IP dans l’espace d’adressage de votre réseau virtuel

   Remarque

   Les plages CIDR de sous-réseau ne peuvent pas être modifiées après le déploiement. Azure Databricks configure automatiquement les règles NSG et la délégation de sous-réseau sur Microsoft.Databricks/workspaces.

4. Cliquez sur Créer pour déployer l’espace de travail.

Étape 2 : Vérifier le déploiement de l’espace de travail

1. Accédez au portail Azure et accédez à votre ressource d’espace de travail Azure Databricks.

2. Dans la page Vue d’ensemble , vérifiez les éléments suivants :

   • L’espace de travail est dans un état sain (aucune défaillance).
   • Le groupe de ressources et le groupe de ressources managé sont répertoriés.
   • Le peering de réseaux virtuels est désactivé (cela est attendu pour l’injection de VNet).

Le groupe de ressources managé n’est pas modifiable et ne peut pas être utilisé pour créer des machines virtuelles. Créez des machines virtuelles dans le groupe de ressources que vous gérez.

Étape 3 : Vérifier la configuration du groupe de sécurité réseau

1. Dans le portail Azure, accédez à votre réseau virtuel.

2. Cliquez sur Sous-réseaux sous Paramètres.

3. Vérifiez que le sous-réseau de conteneur et le sous-réseau hôte ont :

   • Un groupe de sécurité réseau attaché
   • Délégation à Microsoft.Databricks/workspaces

4. Cliquez sur le groupe de sécurité réseau et vérifiez que les règles entrantes et sortantes requises sont configurées. Pour connaître les règles attendues, consultez la référence des règles de groupe de sécurité réseau.

Étape 4 : Créer un cluster

Après avoir créé votre espace de travail, créez un cluster de calcul classique pour vérifier que votre injection de réseau virtuel fonctionne correctement.

1. Accédez à votre espace de travail Azure Databricks, puis cliquez sur Lancer l’espace de travail dans la page Vue d’ensemble .

2. Cliquez sur Calcul dans la barre latérale.

3. Sur la page Calcul, cliquez sur Créer un cluster.

4. Entrez un nom de cluster, laissez les valeurs restantes dans leur état par défaut, puis cliquez sur Créer un cluster.

Une fois le cluster exécuté, le groupe de ressources managé contient de nouvelles machines virtuelles, disques, adresses IP et interfaces réseau. Une interface réseau est créée dans chacun des sous-réseaux publics et privés avec des adresses IP.

Étape 5 : Vérifier la configuration réseau du cluster

1. Dans votre espace de travail Azure Databricks, accédez au groupe de ressources managé dans le portail Azure.

2. Vérifiez que les ressources suivantes existent :

   • Machines virtuelles pour les nœuds de cluster
   • Disques attachés aux machines virtuelles
   • Adresses IP pour les nœuds de cluster
   • Interfaces réseau dans les sous-réseaux publics et privés

3. Dans votre espace de travail Azure Databricks, cliquez sur le cluster que vous avez créé.

4. Accédez à l’interface utilisateur Spark , puis cliquez sur l’onglet Exécuteurs .

5. Vérifiez que les adresses du conducteur et des exécuteurs se trouvent dans le sous-réseau privé. Par exemple, si votre sous-réseau privé est 10.179.0.0/18, le pilote peut être 10.179.0.6 et les exécuteurs peuvent être 10.179.0.4 et 10.179.0.5. Vos adresses IP peuvent être différentes.

Adresses IP de sortie stables

Pour les espaces de travail avec une connectivité de cluster sécurisée et l’injection de réseau virtuel, Databricks recommande de configurer une adresse IP publique de sortie stable. Les adresses IP stables activent des listes d’autorisation externes pour les services tels que Salesforce et les listes d’accès IP.

Pour configurer une adresse IP de sortie stable, consultez Sortie avec injection de réseau virtuel.

Règles du groupe de sécurité réseau

Azure Databricks provisionne automatiquement et gère les règles de groupe de sécurité réseau répertoriées ci-dessous, via la délégation de sous-réseau au service Microsoft.Databricks/workspaces. Ces règles sont requises pour l’opération d’espace de travail. Ne modifiez pas ou supprimez ces règles.

Databricks recommande d’utiliser un GNS unique pour chaque espace de travail.

Règles du groupe de sécurité réseau pour des espaces de travail

Ce tableau répertorie les règles de groupe de sécurité réseau pour les espaces de travail et inclut deux règles de groupe de sécurité entrantes qui sont ajoutées uniquement si la connectivité de cluster sécurisée (SCC) est désactivée.

Développer la capacité du réseau virtuel

Si le réseau virtuel de votre espace de travail dispose d’une capacité insuffisante pour les nœuds de cluster actifs, vous avez deux options :

• Mise à jour de la configuration du réseau virtuel : cette fonctionnalité est en préversion publique. Consultez Mettre à jour la configuration réseau de l’espace de travail.
• Développez votre plage CIDR actuelle : contactez votre équipe de compte Azure Databricks pour demander une augmentation de la plage CIDR du sous-réseau de l’espace de travail.