Configurer la connectivité privée aux ressources Azure

Cet article décrit comment configurer une connectivité privée à partir d’un calcul sans serveur en utilisant l’interface utilisateur du compte Azure Databricks. Vous pouvez également utiliser l’API configurations de connectivité réseau.

Si vous configurez votre ressource Azure pour accepter uniquement les connexions à partir de points de terminaison privés, toute connexion à la ressource à partir de vos ressources de calcul Databricks classiques doit également utiliser des points de terminaison privés.

Pour configurer un pare-feu Azure Storage pour un accès par le calcul sans serveur à l’aide de sous-réseaux, veuillez consulter la section Configurer un pare-feu pour l’accès au calcul serverless. Pour gérer les règles de point de terminaison privé existantes, veuillez consulter la section Gérer les règles de point de terminaison privé.

Vue d’ensemble de la connectivité privée pour le calcul serverless

La connectivité réseau sans serveur est gérée via des configurations de connectivité réseau (NCC). Les administrateurs de compte créent des NCC dans la console de compte et une NCC peut être associée à un ou plusieurs Workspace (Espace de travail).

Lorsque vous ajoutez un point de terminaison privé dans une NCC, Azure Databricks crée une demande de point de terminaison privé vers votre ressource Azure. Une fois la demande acceptée du côté de la ressource, le point de terminaison privé est utilisé pour accéder aux ressources depuis le plan de calcul serverless Le point de terminaison privé est dédié à votre compte Azure Databricks et accessible uniquement depuis les espaces de travail autorisés.

Les points de terminaison privés de NCC sont pris en charge à partir d’entrepôts SQL, de travaux, de notebooks, de pipelines déclaratifs Spark Lakeflow et de points de terminaison de service de modèles.

Pour en savoir plus sur les NCC, veuillez consulter la section Qu’est-ce qu’une configuration de connectivité réseau (NCC) ?

Procédure pas à pas vidéo

Cette vidéo fournit une présentation approfondie de la configuration de la connectivité réseau (7 minutes).

Spécifications

• Votre compte et votre espace de travail doivent se trouver sur le plan Premium.
• Vous devez être administrateur de compte Azure Databricks.
• Chaque compte Azure Databricks peut avoir jusqu’à 10 NCC par région.
• Chaque région peut avoir 100 points de terminaison privés, répartis selon les besoins entre 1 et 10 NCC.
• Chaque NCC peut être associé à jusqu’à 50 espaces de travail.

Étape 1 : Créer une configuration de connectivité réseau

Databricks recommande de partager une NCC entre les espaces de travail d’une même entité métier et ceux partageant les mêmes propriétés de connectivité régionales. Par exemple, si certains espaces de travail utilisent Private Link et d’autres utilisent l’activation du pare-feu, utilisez des NCC distinctes pour ces cas d’usage.

1. En tant qu’administrateur du compte, rendez-vous dans la console du compte.
2. Dans la barre latérale, cliquez sur Sécurité.
3. Cliquez sur Configurations de connectivité réseau.
4. Cliquez sur Ajouter une configuration réseau.
5. Saisissez un nom pour la NCC.
6. Choisissez la région. Celle-ci doit correspondre à la région de votre espace de travail.
7. Cliquez sur Add.

Étape 2 : Associer une NCC à un espace de travail

1. Dans la barre latérale de la console du compte, cliquez sur Workspaces (Espaces de travail).
2. Cliquez sur le nom de votre espace de travail.
3. Cliquez sur Update workspace (Mettre à jour l’espace de travail).
4. Dans le champ Configurations de connectivité réseau , sélectionnez votre CCN. S’il n’est pas visible, vérifiez que vous avez sélectionné la même région Azure pour l’espace de travail et la CCN.
5. Cliquez sur Update.
6. Attendez 10 minutes pour que le changement prenne effet.
7. Redémarrez tous les services serverless en cours d’exécution dans l’espace de travail.

Étape 3 : créer des règles de point de terminaison privé

Vous devez créer une règle de point de terminaison privé dans votre NCC pour chaque ressource Azure.

1. Obtenez la liste des ID de ressources Azure pour toutes vos destinations.
   1. Dans un autre onglet de navigateur, utilisez le portail Azure pour accéder aux services Azure de votre source de données.
   2. Sur la page Overview (vue d’ensemble), consultez la section Essentials.
   3. Cliquez sur le lien JSON View (affichage JSON). L’ID de ressource du service s’affiche en haut de la page.
   4. Copiez cet ID de ressource dans un autre emplacement. Répétez l’opération pour toutes les destinations. Pour plus d’informations sur la recherche de votre ID de ressource, veuillez consulter la section Valeurs DNS privées des points de terminaison privés Azure.
2. Revenez à l’onglet de votre navigateur avec la console du compte.
3. Dans la barre latérale, cliquez sur Sécurité.
4. Cliquez sur Configurations de connectivité réseau.
5. Sélectionnez la NCC que vous avez créée à l’étape 1.
6. Dans Private endpoint rules (Règles de point de terminaison privé), cliquez sur Add private endpoint rule (Ajouter une règle de point de terminaison privé).
7. Dans le champ Destination Azure resource ID (ID de ressource Azure de destination), collez l’ID de ressource de votre ressource.
8. Dans le champ Azure subresource ID (ID de sous-ressource Azure), spécifiez l’ID de destination et le type de sous-ressource. Chaque règle de point de terminaison privé doit utiliser un ID de sous-ressource différent. Pour obtenir la liste des types de sous-ressources pris en charge, consultez Ressources prises en charge.
9. Cliquez sur Add.
10. Attendez quelques minutes jusqu’à ce que toutes les règles de point de terminaison aient le statut PENDING.

Étape 4 : approuver les nouveaux points de terminaison privés sur vos ressources

Les points de terminaison ne prennent effet qu’une fois qu’un administrateur disposant des droits sur la ressource a approuvé le nouveau point de terminaison privé. Pour approuver un point de terminaison privé à l’aide du portail Azure, procédez comme suit :

1. Dans le portail Azure, accédez à votre ressource.

2. Dans la barre latérale, cliquez sur Networking.

3. Cliquez sur Private endpoint connections (Connexions de point de terminaison privé).

4. Cliquez sur l’onglet Private access (Accès privé).

5. Sous Private endpoint connections (Connexions de point de terminaison privé), examinez la liste des points de terminaison privés.

6. Cochez la case en regard de chacun pour les approuver, puis cliquez sur le bouton Approve au-dessus de la liste.

7. Retournez dans votre NCC sur Azure Databricks et actualisez la page du navigateur jusqu’à ce que toutes les règles de point de terminaison aient le statut ESTABLISHED.

   

(Facultatif) Étape 5 : Définir vos ressources pour interdire l’accès au réseau public

Si vous n’avez pas encore limité l’accès à vos ressources à des réseaux répertoriés uniquement, vous pouvez choisir de le faire.

1. Accédez au portail Azure.
2. Accédez à votre compte de stockage pour la source de données.
3. Dans la barre latérale, cliquez sur Networking.
4. Dans le champ Public network access (accès au réseau public), vérifiez la valeur. Par défaut, la valeur est Enabled from all networks (activée à partir de tous les réseaux). Modifiez-la en Disabled (désactivé)

Configurer un Lien Privé vers Azure App Gateway v2

Si vous configurez Private Link vers une ressource Azure App Gateway v2, vous devez utiliser l’API REST Configurations de connectivité réseau au lieu de l’interface utilisateur de la console de compte. Azure App Gateway v2 nécessite des paramètres de configuration supplémentaires tels que l’ID de ressource, l’ID de groupe et les noms de domaine.

1. Utilisez l’appel d’API suivant pour établir une règle de point de terminaison privé avec la configuration du nom de domaine :

   curl --location 'https://accounts.azuredatabricks.net/api/2.0/accounts/<ACCOUNT_ID>/network-connectivity-configs/<NCC_ID>/private-endpoint-rules' \
   --header 'Content-Type: application/json' \
   --header 'Authorization: Bearer <TOKEN>' \
   --data '{
      "domain_names": [
         "<YOUR_DOMAIN_HERE>"
      ],
      "resource_id": "<YOUR_APP_GATEWAY_RESOURCE_ID_HERE>",
      "group_id": "<GROUP_ID>"
   }'
   

2. Si vous devez modifier les noms de domaine pour une règle de point de terminaison privé existante, utilisez la requête PATCH suivante :

   curl --location --request PATCH 'https://accounts.azuredatabricks.net/api/2.0/accounts/<ACCOUNT_ID>/network-connectivity-configs/<NCC_ID>/private-endpoint-rules/<PRIVATE_ENDPOINT_RULE_ID>?update_mask=domain_names' \
   --header 'Content-Type: application/json' \
   --header 'Authorization: Bearer <TOKEN>' \
   --data '{
      "domain_names": [
         "<YOUR_DOMAIN_HERE>"
      ]
   }'
   

3. Pour répertorier, afficher ou supprimer des règles de point de terminaison privé App Gateway, utilisez les opérations standard de l’API Configurations de connectivité réseau documentées dans l’API configurations de connectivité réseau.

Étape 7 : Redémarrer les ressources du plan de calcul serverless et tester la connexion

1. Après l’étape précédente, attendez cinq minutes supplémentaires pour que les modifications soient propagées.
2. Redémarrez toutes les ressources du plan de calcul serverless en cours d’exécution dans les espaces de travail associés à votre NCC. Si vous n’avez pas de ressources de plan de calcul serverless en cours d’exécution, démarrez-en une maintenant.
3. Vérifiez que toutes les ressources démarrent correctement.
4. Exécutez au moins une requête sur votre source de données pour confirmer que l’entrepôt SQL serverless peut accéder à votre source de données.

Étapes suivantes

• Gérer les règles de point de terminaison privé : contrôlez et modifiez vos configurations de point de terminaison privé existantes, notamment la mise à jour des ID de ressource et la gestion de l’état de la connexion. Consultez Gérer les règles de point de terminaison privé.
• Configurer un pare-feu pour l'accès au calcul sans serveur : définissez des règles de pare-feu réseau pour contrôler l'accès aux services Azure en utilisant des sous-réseaux au lieu de points de terminaison privés. Voir Configurer un pare-feu pour l'accès à l'informatique sans serveur.
• Configurer des stratégies réseau : mettez en œuvre des contrôles et des stratégies de sécurité réseau supplémentaires pour régir la connectivité de calcul sans serveur. Consultez En quoi consiste le contrôle de sortie serverless ?.
• Comprendre la sécurité réseau serverless : découvrez l’architecture et les options de sécurité réseau plus larges disponibles pour les environnements de calcul serverless. Consultez Mise en réseau du plan de calcul serverless.