Configurer une liaison privée frontale

Cette page fournit des instructions pour configurer la connectivité privée frontale, qui sécurise la connexion entre les utilisateurs et leurs espaces de travail Azure Databricks.

• Pour activer la connectivité privée back-end à Azure Databricks, consultez les concepts d’Azure Private Link.
• Pour vous connecter à partir du plan de calcul serverless aux ressources Azure, consultez Configurer la connectivité privée aux ressources Azure.

Pourquoi choisir une connexion frontale ?

Que vous utilisiez un calcul serverless ou classique, les utilisateurs doivent se connecter à Azure Databricks. Les organisations choisissent de se connecter à Azure Databricks pour plusieurs raisons, notamment :

• Sécurité renforcée : En limitant tous les accès aux points de terminaison privés et en désactivant l’accès public, vous réduisez la surface d’attaque et vérifiez toutes les interactions utilisateur avec Azure Databricks sur un réseau privé sécurisé.
• Exigences de conformité : De nombreuses organisations ont des mandats de conformité stricts qui nécessitent que tout le trafic de plan de gestion et de données reste dans leurs limites de réseau privé, même pour les services SaaS comme Azure Databricks.
• Architecture réseau simplifiée (pour des cas d’usage spécifiques) : Si vous utilisez uniquement le calcul serverless ou que votre interaction principale avec Azure Databricks est via l’interface utilisateur web ou les API REST, et que vous n’avez pas besoin immédiatement de connectivité privée aux sources de données à partir d’Azure Databricks (ce qui nécessite une connexion back-end), une configuration frontale uniquement simplifie la conception globale du réseau.
• Prévention de l’exfiltration des données : En empêchant l’accès public et en forçant tout le trafic via des points de terminaison privés, vous réduisez le risque d’exfiltration des données, ce qui garantit que le trafic n’est accessible qu’à partir d’environnements réseau authentifiés.

Modèle de connectivité

Vous pouvez configurer la connectivité privée de deux façons :

• Aucun accès public : cette configuration désactive tout accès public à l’espace de travail. Tout le trafic utilisateur doit provenir d’un réseau virtuel connecté via un point de terminaison privé. Ce modèle est nécessaire pour la privatisation complète du trafic. Pour la privatisation complète du trafic, vous avez également besoin d’une connexion Private Link back-end. Consultez les concepts d’Azure Private Link.
• Accès hybride : Private Link est actif, mais l’accès public reste activé avec les contrôles d’entrée basés sur le contexte et les listes d’accès IP. Les contrôles d’entrée basés sur le contexte vous permettent de restreindre l’accès en fonction de l’identité, du type de requête et de la source réseau. Cela vous permet d’autoriser en toute sécurité l’accès à partir de sources publiques approuvées (par exemple, des adresses IP d’entreprise statiques), tout en utilisant Private Link pour la connectivité privée.

Ce guide explique comment implémenter le modèle d’accès hybride . Pour ce faire, nous utilisons une topologie de réseau hub-and-spoke standard.

Vue d’ensemble de l’architecture

Ce modèle utilise le réseau virtuel de transit :

• Réseau virtuel de transit : il s’agit de votre réseau virtuel central contenant tous les points de terminaison privés nécessaires pour l’accès client aux espaces de travail et à l’authentification du navigateur. Votre espace de travail d’authentification du navigateur est également connecté à ce réseau virtuel.

Avant de commencer

Passez en revue les conditions préalables et les recommandations suivantes :

Spécifications

• L’espace de travail se trouve sur le plan Premium.
• Vous disposez d’un espace de travail Azure Databricks déployé avec l’injection VNet. Consultez Déployer Azure Databricks dans votre réseau virtuel Azure (injection de réseau virtuel)
• Vous devez disposer d’autorisations Azure pour créer des points de terminaison privés et gérer des enregistrements DNS.

Configuration de la mise en réseau

• Un réseau virtuel de transit configuré pour les éléments suivants :
  • Il agit comme point de transit principal pour tout le trafic utilisateur/client qui se connecte à votre réseau Azure.
  • Il fournit une connectivité centralisée pour les réseaux locaux ou autres réseaux externes.
  • Il gère les services partagés et contient l’itinéraire principal pour le trafic Internet sortant (sortie).
• Vos zones DNS privées sont gérées par Azure DNS.

Meilleures pratiques

Azure Databricks recommande les éléments suivants pour une configuration résiliente et gérable :

• Architecture : votre réseau doit suivre l’architecture hub-spoke recommandée par Microsoft. Consultez la topologie de réseau hub-spoke dans Azure.
• Espace de travail d’authentification isolé : pour améliorer la résilience, créez un espace de travail d’authentification de navigateur distinct à l’intérieur de votre réseau virtuel de transit. Cet espace de travail dédié doit héberger le point de terminaison privé de l’authentification par navigateur, ce qui empêche un point de défaillance unique si d’autres espaces de travail sont supprimés. Voir l’étape 3 : Créer un browser_authentication espace de travail.

Configurer la connectivité privée pour un espace de travail existant

Avant de commencer, vous devez arrêter toutes les ressources de calcul telles que les clusters, les pools ou les entrepôts SQL classiques. Aucune ressource de calcul d’espace de travail ne peut être en cours d’exécution ou la tentative de mise à niveau échoue. Azure Databricks recommande de planifier le moment de la mise à niveau pour les temps d’arrêt.

1. Dans la page Espaces de travail , sélectionnez Calcul.
2. Sélectionnez chaque cluster de calcul actif et, en haut à droite, cliquez sur Arrêter.

Étape 1 : Vérifier l’espace de travail injecté par réseau virtuel avec l’accès public activé

1. Accédez à votre espace de travail Azure Databricks dans le portail Azure.
2. Dans la section Vue d’ensemble de l’espace de travail, vérifiez que votre espace de travail Azure Databricks utilise votre propre réseau virtuel :
   1. Sous Paramètres, sélectionnez l’onglet Mise en réseau . Vérifiez les paramètres suivants :
      1. La connectivité de cluster sécurisée (aucune adresse IP publique) n’est activée.
      2. Autoriser l’accès au réseau public est activé.

Étape 2 : Créer un databricks_ui_api point de terminaison privé

1. Sous l’onglet Mise en réseau de votre espace de travail, sélectionnez Connexions de point de terminaison privé.
2. Cliquez sur Point de terminaison privé.
3. Sélectionnez le groupe de ressources pour le point de terminaison, indiquez un nom tel que my-workspace-fe-pe. Vérifiez que la région correspond à votre espace de travail.
4. Cliquez sur Suivant : Ressource.
5. Définissez la sous-ressource cible sur databricks_ui_api.
6. Cliquez sur Suivant : Réseau virtuel.
7. Sélectionnez votre réseau virtuel de transit. Votre réseau virtuel de transit est un réseau virtuel distinct et préexistant dans votre architecture réseau qui gère et sécurise le trafic de sortie, contenant souvent un pare-feu central.
8. Sélectionnez le sous-réseau qui héberge les points de terminaison privés.
9. Cliquez sur Suivant et vérifiez que l’intégration à la zone DNS privée est définie sur Oui. Il doit sélectionner automatiquement la privatelink.azuredatabricks.net zone.

Étape 3 : Créer un browser_authentication espace de travail

Créez un point de terminaison privé pour l’authentification par navigateur afin de prendre en charge le SSO sur votre chemin d'accès réseau privé. Azure Databricks recommande d’héberger ce point de terminaison sur un espace de travail d’authentification web privé dédié.

Créer un groupe de ressources

1. Dans le portail Azure, accédez à et sélectionnez Groupes de ressources.
2. Cliquez sur + Créer.
3. Indiquez un nom pour le groupe de ressources, tel que web-auth-rg-eastus.
4. Pour la région, sélectionnez la même région Azure que celle où vos espaces de travail Databricks de production sont déployés.
5. Cliquez sur Vérifier + créer, puis sur Créer.

Créer un réseau virtuel

1. Dans le portail Azure, recherchez et sélectionnez Réseaux virtuels.
2. Cliquez sur + Créer.
3. Sous l’onglet Informations de base , sélectionnez le groupe de ressources que vous venez de créer et donnez au réseau virtuel un nom descriptif, par exemple web-auth-vnet-eastus.
4. Vérifiez que la région correspond à votre groupe de ressources.
5. Sous l’onglet Adresses IP , définissez un espace d’adressage IP pour le réseau virtuel, par exemple 10.20.0.0/16. Vous êtes également invité à créer un sous-réseau initial.
6. Sélectionnez Vérifier + créer, puis Créer.

Créer et sécuriser l’espace de travail d’authentification web privé

1. Dans le portail Azure, recherchez et sélectionnez Azure Databricks. Cliquez sur + Créer.
2. Sous l’onglet Informations de base , configurez les éléments suivants :
   1. Sélectionnez le groupe de ressources que vous venez de créer.
   2. Donnez un nom descriptif à l’espace de travail, par exemple WEB_AUTH_DO_NOT_DELETE_<region>.
   3. Sélectionnez la même région que votre groupe de ressources et votre réseau virtuel.
3. Cliquez sur Suivant :Mise en réseau et configurez les éléments suivants :
   1. Déployer l’espace de travail Azure Databricks avec connectivité sécurisée du cluster (aucune adresse IP publique) : sélectionnez Oui.
   2. Déployer l’espace de travail Azure Databricks dans votre propre réseau virtuel (VNet) : sélectionnez Oui.
   3. Réseau virtuel : sélectionnez le réseau virtuel que vous venez de créer. Vous êtes invité à définir des plages de sous-réseaux.
   4. Accès au réseau public : sélectionnez Désactivé.
   5. Règles NSG requises : sélectionnez NoAzureDatabricksRules.
4. Cliquez sur Vérifier + créer, puis sur Créer.

Une fois l’espace de travail créé, vous devez le protéger contre la suppression accidentelle.

1. Dans le portail Azure, accédez à l’espace de travail que vous venez de créer.
2. Accédez à Paramètres et sélectionnez Verrous.
3. Cliquez sur + Ajouter.
4. Définissez le type de verrou sur Supprimer et fournissez un nom de verrou descriptif.
5. Cliquez sur OK.

Créez le point de terminaison privé pour l'authentification du navigateur

Après avoir créé l’espace de travail, vous devez créer le browser_authentication point de terminaison privé pour le connecter à votre réseau virtuel de transit.

1. Sous l’onglet Mise en réseau de l’espace de travail d’authentification web, sélectionnez Connexions de point de terminaison privé.
2. Cliquez sur Point de terminaison privé.
3. Sélectionnez le groupe de ressources pour le point de terminaison, indiquez un nom tel que web-auth-browser-auth-pe. Vérifiez que la région correspond à votre espace de travail.
4. Cliquez sur Suivant : Ressource.
5. Définissez la sous-ressource cible sur browser_authentication.
6. Cliquez sur Suivant : Réseau virtuel.
7. Sélectionnez votre réseau virtuel de transit (le même réseau virtuel utilisé à l’étape 2 pour le databricks_ui_api point de terminaison).
8. Sélectionnez le sous-réseau qui héberge les points de terminaison privés.
9. Cliquez sur Suivant et vérifiez que l’intégration à la zone DNS privée est définie sur Oui. Il doit sélectionner automatiquement la privatelink.azuredatabricks.net zone.
10. Terminez la création du point de terminaison.

Étape 4 : Configurer et vérifier DNS

Après avoir déployé les points de terminaison privés, vous devez vérifier que DNS résout correctement les URL Azure Databricks sur leurs nouvelles adresses IP privées.

1. Vérifiez les enregistrements de zone DNS privés :
   1. Dans le portail Azure, recherchez et accédez à la zone DNS privée nommée privatelink.azuredatabricks.net.
   2. Vérifiez que les enregistrements suivants A existent et pointez vers les adresses IP privées de vos points de terminaison :
      1. Enregistrement de l’interface utilisateur/de l’API de l’espace de travail :
         • Nom : VOTRE ID d’espace de travail unique, par exemple adb-xxxxxxxxxxxxxxxx.x
         • Valeur : adresse IP privée de votre databricks_ui_api point de terminaison privé.
      2. Enregistrement d’authentification du navigateur :
         • Nom : choisissez un nom descriptif comme pl-auth.<your_region>.
         • Valeur : adresse IP privée de votre browser_authentication point de terminaison privé.

Étape 5 : Vérifier l’accès au réseau privé

Vérifiez que vous pouvez accéder à l’espace de travail via votre connexion réseau privée.

À partir d’un réseau connecté

Si votre réseau local est déjà connecté à votre réseau virtuel Azure, par VPN ou ExpressRoute, le test est simple :

• À partir de votre ordinateur, ouvrez un navigateur web et accédez directement à l’URL de votre espace de travail Azure Databricks pour vous connecter. Une connexion réussie confirme que votre connexion privée fonctionne.

Utilisation d’une machine virtuelle de test

Si vous ne pouvez pas accéder au réseau virtuel de l’espace de travail à partir de votre emplacement actuel, créez une machine virtuelle temporaire (une « zone de rebond ») à partir de :

1. Créez une machine virtuelle : Dans le portail Azure, créez une machine virtuelle Windows. Placez-le dans un sous-réseau à l’aide du même réseau virtuel de transit que celui où vous avez configuré votre point de terminaison privé frontal.
2. Connectez-vous à la machine virtuelle : Utilisez un client Bureau à distance pour vous connecter à votre nouvelle machine virtuelle.
3. Test à partir de la machine virtuelle : Après vous être connecté à la machine virtuelle, ouvrez un navigateur web, accédez au portail Azure et recherchez votre espace de travail Azure Databricks.
4. Lancer l’espace de travail : Cliquez sur Lancer l’espace de travail. Une connexion réussie confirme que l’accès à partir de votre réseau virtuel privé fonctionne correctement.

Vérifier DNS avec nslookup

1. Connectez-vous à une machine virtuelle à l’intérieur de votre réseau virtuel configuré ou à votre réseau local via VPN ou Azure ExpressRoute. Votre machine doit être en mesure d’utiliser le DNS privé d’Azure.
2. Ouvrez une invite de commandes ou un terminal et utilisez-le nslookup pour vérifier la résolution DNS.

# Verify the workspace URL resolves to a private IP
nslookup adb-xxxxxxxxxxxxxxxx.x.azuredatabricks.net

# Expected output:
# Server:  <your-dns-server>
# Address: <your-dns-server-ip>
#
# Name:    adb-xxxxxxxxxxxxxxxx.x.privatelink.azuredatabricks.net
# Address: 10.10.1.4  <-- This should be the private IP of your 'databricks_ui_api' endpoint
# Aliases: adb-xxxxxxxxxxxxxxxx.x.azuredatabricks.net

Configuration DNS personnalisée

Lorsque vous utilisez un point de terminaison frontal privé avec votre propre DNS personnalisé, vous devez vérifier que l’URL de l’espace de travail et les URL d’authentification unique (par authentification unique) sont correctement résolues sur l’adresse IP du point de terminaison privé.

Recommandé : transfert conditionnel

La méthode la plus fiable consiste à configurer votre serveur DNS pour transférer des requêtes pour tous les domaines Databricks vers le DNS interne d’Azure.

1. Configurez le transfert conditionnel pour les domaines suivants vers votre serveur Azure DNS :
   • *.azuredatabricks.net
   • *.privatelink.azuredatabricks.net
   • *.databricksapps.com
2. Vérifiez que votre réseau virtuel est lié à la zone DNS privée Azure.

Cela permet à Azure de résoudre automatiquement tous les noms d’hôte nécessaires, y compris les URL SSO et de workspace, vers l’adresse IP de votre point de terminaison privé.

Alternative : Enregistrements manuels A

Si le transfert conditionnel n’est pas une option, vous devez créer manuellement des enregistrements DNS A .

1. URL de l’espace de travail : Créez un enregistrement de type A qui mappe votre URL par espace de travail, par exemple adb-1111111111111.15.azuredatabricks.net, à l’adresse IP du point de terminaison privé.
2. URL d’authentification SSO : Créez un A enregistrement mappant l'URL SSO régionale, tel que westus.pl-auth.azuredatabricks.net, à la même adresse IP du point de terminaison privé.

Certaines régions Azure utilisent plusieurs instances de plan de contrôle pour l’authentification unique. Vous devrez peut-être créer plusieurs A enregistrements pour l’authentification. Pour obtenir la liste complète des domaines de votre région, contactez votre équipe de compte Azure Databricks.

Étapes suivantes

• Configurer la connectivité privée de back-end à Azure Databricks
• Configurer des listes d’accès IP pour les espaces de travail