Configurer un pare-feu pour l’accès au calcul serverless

Cette page explique comment configurer un pare-feu de stockage Azure pour le calcul serverless à l’aide de l’interface utilisateur de la console de compte Azure Databricks. Vous pouvez également utiliser l’API configurations de connectivité réseau.

Pour configurer un point de terminaison privé pour l’accès au calcul serverless, consultez Configurer la connectivité privée aux ressources Azure.

Vue d’ensemble de l’activation du pare-feu pour l'informatique sans serveur

La connectivité réseau sans serveur est gérée avec des configurations de connectivité réseau (CCN). Les administrateurs de compte créent des NCC dans la console de compte, et un NCC peut être attaché à un ou plusieurs espaces de travail. Les centres de contrôle réseau sont des entités régionales au niveau du compte utilisées pour gérer la création de points de terminaison privés et l'activation du pare-feu à une grande échelle.

Une CCN définit les identités réseau pour les ressources Azure en tant que règles par défaut. Lorsqu’une CCN est attachée à un espace de travail, le calcul serverless dans cet espace de travail utilise l’un de ces réseaux pour se connecter à la ressource Azure. Vous pouvez autoriser ces réseaux dans vos pare-feu de ressources Azure. Pour les pare-feu des ressources Azure qui ne sont pas liées au stockage, contactez votre équipe de gestion de compte pour en savoir plus sur l’utilisation d’adresses IP NAT stables.

L’activation du pare-feu NCC est prise en charge à partir d’entrepôts SQL serverless, de travaux, de notebooks, de pipelines déclaratifs Spark Lakeflow et de points de terminaison de service de modèle.

Vous pouvez également restreindre l’accès au compte de stockage d’espace de travail aux réseaux autorisés, y compris l'informatique sans serveur. Lorsqu’une CCN est attachée, ses règles de réseau sont automatiquement ajoutées au compte de stockage de l’espace de travail. Consultez Activer la prise en charge du pare-feu pour votre compte de stockage d’espace de travail.

Pour plus d’informations sur les contrôleurs de réseau, consultez Qu’est-ce qu’une configuration de connectivité réseau ?.

Implications des coûts de l’accès au stockage inter-régions

Le pare-feu s’applique uniquement lorsque les ressources Azure se trouvent dans la même région que l’espace de travail Azure Databricks. Pour le trafic inter-région à partir du calcul serverless Azure Databricks (par exemple, l’espace de travail est dans la région USA Est et le stockage ADLS est dans la région Europe Ouest), Azure Databricks achemine le trafic via un service Azure NAT Gateway.

Spécifications

• Votre espace de travail doit se trouver sur le plan Premium.

• Vous devez être administrateur de compte Azure Databricks.
• Chaque NCC peut être associé à jusqu'à 50 espaces de travail.
• Chaque compte Azure Databricks peut avoir jusqu’à 10 NCC par région prise en charge. Les contrôleurs réseau fournissent des blocs CIDR IP stables partagés plutôt que des blocs IP distincts par configuration, et ces plages d’adresses IP sont spécifiques à la région. Pour obtenir la liste des régions prises en charge, consultez les régions Azure Databricks.

• Vous devez avoir WRITE accès aux règles réseau de votre compte de stockage Azure.

Étape 1 : créer une configuration de connectivité réseau et copier des identifiants de sous-réseau

Databricks recommande de partager des NCC entre des espaces de travail dans la même unité commerciale et ceux qui partagent les mêmes régions et propriétés de connectivité. Par exemple, si certains espaces de travail utilisent le pare-feu de stockage et d’autres espaces de travail utilisent l’approche alternative de Private Link, utilisez des NCC distincts pour ces cas d’usage.

1. En tant qu’administrateur de compte, accédez à la console de compte.
2. Dans la barre latérale, cliquez sur Sécurité.
3. Cliquez sur Configurations de connectivité réseau.
4. Cliquez sur Ajouter une configuration réseau.
5. Saisissez un nom pour la configurations de connectivité réseau.
6. Choisissez la région. Cela doit correspondre à votre région d’espace de travail.
7. Cliquez sur Ajouter.
8. Dans la liste des NCC, cliquez sur votre nouveau NCC.
9. Dans Règles par défaut sous Identités réseau, cliquez sur Afficher tout.
10. Dans la boîte de dialogue, cliquez sur le bouton Copier des sous-réseaux.

Étape 2 : attacher un CCN à des espaces de travail

Vous pouvez attacher un NCC à un maximum de 50 espaces de travail dans la même région que le NCC.

Pour utiliser l’API afin d’attacher une configurations de connectivité réseau (NCC) à un espace de travail, consultez API des espaces de travail de compte.

1. Dans la barre latérale de la console de compte, cliquez sur Espaces de travail.
2. Cliquez sur le nom de votre espace de travail.
3. Cliquez sur Mettre à jour l’espace de travail.
4. Dans le champ Configurations de connectivité réseau , sélectionnez votre CCN. S’il n’est pas visible, vérifiez que vous avez sélectionné la même région pour l’espace de travail et la CCN.
5. Cliquez sur Update.
6. Attendez 10 minutes pour que la modification prenne effet.
7. Redémarrez les ressources de calcul serverless en cours d’exécution dans l’espace de travail.

Si vous utilisez cette fonctionnalité pour vous connecter au compte de stockage d’espace de travail, la configuration est terminée. Les règles réseau sont automatiquement ajoutées au compte de stockage d’espace de travail. Pour les comptes de stockage supplémentaires, passez à l’étape suivante.

Étape 3 : Verrouiller votre compte de stockage

Si vous n’avez pas encore limité l’accès au compte de stockage Azure à des réseaux répertoriés uniquement, faites-le maintenant. Vous n’avez pas besoin d’effectuer cette étape pour le compte de stockage d’espace de travail.

La création d’un pare-feu de stockage affecte également la connectivité entre le plan de calcul classique et vos ressources. Vous devez également ajouter des règles réseau pour vous connecter à vos comptes de stockage à partir de ressources de calcul classiques.

1. Accédez au portail Azure.
2. Accédez à votre compte de stockage pour la source de données.
3. Dans le volet de navigation gauche, cliquez sur mise en réseau.
4. Dans le champ accès au réseau public, vérifiez la valeur. Par défaut, la valeur est activée à partir de tous les réseaux. Remplacez cette option par activée à partir de réseaux virtuels et d’adresses IP sélectionnés.

Étape 4 : Ajouter des règles de réseau de compte de stockage Azure

Vous n’avez pas besoin d’effectuer cette étape pour le compte de stockage d’espace de travail.

1. Dans un éditeur de texte, copiez et collez le script suivant, en remplaçant les paramètres par les valeurs de votre compte Azure :

   # Define parameters
   
   $subscription = `<YOUR_SUBSCRIPTION_ID>` # Replace with your Azure subscription ID or name
   $resourceGroup = `<YOUR_RESOURCE_GROUP>` # Replace with your Azure resource group name
   $accountName = `<YOUR_STORAGE_ACCOUNT_NAME>` # Replace with your Azure storage account name
   $subnets = `<SUBNET_NAME_1>` # Replace with your actual subnet names
   
   # Add network rules for each subnet
   foreach ($subnet in $subnets) {
      az storage account network-rule add --subscription $subscription `
         --resource-group $resourceGroup `
         --account-name $accountName `
         --subnet $subnet
   }
   

2. Lancez Azure Cloud Shell.

3. Dans Azure Cloud Shell, à l’aide d’un éditeur, créez un nouveau fichier qui se termine par l’extension .ps1 :

   vi ncc.ps1
   

4. Collez le script de l’étape 1 dans votre éditeur, puis appuyez Escsur , tapez :wq, puis appuyez sur Enter.

5. Lancez la commande suivante pour exécuter votre script :

   ./ncc.ps1
   

6. Après avoir exécuté toutes les commandes, vous pouvez utiliser le portail Azure pour afficher votre compte de stockage et confirmer qu’il existe une entrée dans la table Réseaux virtuels qui représente le nouveau sous-réseau.

   Conseil

   • Lorsque vous ajoutez des règles de réseau de compte de stockage, utilisez l’API de connectivité réseau pour récupérer les derniers sous-réseaux.
   • Évitez de stocker les informations NCC localement.
   • Ignorez la mention des « autorisations insuffisantes » dans la colonne d’état du point de terminaison ou l’avertissement sous la liste réseau. Ils indiquent uniquement que vous n’êtes pas autorisé à lire les sous-réseaux Azure Databricks, mais qu’il n’interfèrepas avec la possibilité pour ce sous-réseau serverless Azure Databricks de contacter votre stockage Azure.

   

7. Pour vérifier que votre compte de stockage utilise ces paramètres à partir du Portail Microsoft Azure, accédez à Mise en réseau dans votre compte de stockage. Vérifiez que l’accès au réseau public est défini sur Activé à partir de réseaux virtuels et d’adresses IP sélectionnés et que les réseaux autorisés sont répertoriés dans la section Réseaux virtuels.

Étapes suivantes

• Gérer les règles de point de terminaison privé : contrôlez le trafic réseau vers et à partir de vos points de terminaison privés en définissant des règles spécifiques qui autorisent ou refusent les connexions. Voir Gérer les règles de point de terminaison privé.
• Configurer des stratégies réseau : implémentez des stratégies réseau pour fournir des contrôles de sécurité et des restrictions d’accès supplémentaires pour vos environnements de calcul serverless. Consultez En quoi consiste le contrôle de sortie serverless ?.
• Comprendre les coûts de transfert et de connectivité des données : découvrez les coûts associés au déplacement de données vers et hors des environnements serverless et aux configurations de connectivité réseau. Consultez Comprendre les coûts de mise en réseau sans serveur de Databricks.