Partager via

Mise en réseau

Cet article présente des configurations de mise en réseau pour le déploiement et la gestion des comptes et espaces de travail Azure Databricks.

Remarque

Azure Databricks facture les coûts de mise en réseau lorsque les charges de travail serverless se connectent aux ressources client. Consultez Comprendre les coûts de mise en réseau sans serveur de Databricks.

Vue d’ensemble de l’architecture Azure Databricks

Azure Databricks fonctionne à partir d’un plan de contrôle et d’un plan de calcul.

  • Le plan de contrôle comprend les services back-end qu’Azure Databricks gère dans votre compte Azure Databricks. L’application web se trouve dans le plan de contrôle.
  • Le plan de calcul est l’endroit où vos données sont traitées. Il existe deux types de plans de calcul en fonction du calcul que vous utilisez.
    • Pour les calculs Azure Databricks classiques, les ressources de calcul se trouvent dans votre abonnement Azure dans ce qu’on appelle le plan de calcul classique. Ce terme fait référence au réseau de votre abonnement Azure et à ses ressources. Les ressources de plan de calcul classiques se trouvent dans la région dans laquelle se trouve votre espace de travail.
    • Pour les calculs serverless, les ressources de calcul serverless s’exécutent dans un plan de calcul serverless dans votre compte Azure Databricks. Les ressources du plan de calcul serverless se trouvent dans la même région cloud que le plan de calcul classique de votre espace de travail. Vous électionnez cette région lorsque vous créez un espace de travail.

Pour en savoir plus sur le calcul classique et le calcul serverless, consultez Calcul. Pour plus d’informations sur l’architecture, consultez architecture générale.

Sécuriser la connectivité réseau

Azure Databricks fournit un environnement de mise en réseau sécurisé par défaut, mais si votre organisation a des besoins supplémentaires, vous pouvez configurer des fonctionnalités de connectivité réseau entre les différentes connexions réseau indiquées dans le diagramme ci-dessous.

Diagramme de vue d’ensemble de la connectivité réseau

  1. Utilisateurs et applications dans Azure Databricks : vous pouvez configurer des fonctionnalités pour contrôler l’accès et fournir une connectivité privée entre les utilisateurs et leurs espaces de travail Azure Databricks. Consultez l’article Mise en réseau des utilisateurs sur Azure Databricks.
  2. Le plan de contrôle et le plan de calcul classique : les ressources de calcul classiques, telles que les clusters, sont déployées dans votre abonnement Azure et se connectent au plan de contrôle. Vous pouvez utiliser des fonctionnalités de connectivité réseau classiques pour déployer des ressources de plan de calcul classiques dans vos propres réseaux virtuels et activer la connectivité privée des clusters vers le plan de contrôle. Consultez l’article Mise en réseau du plan de calcul classique.
  3. Le plan de calcul serverless et le stockage : vous pouvez configurer des connexions privées et dédiées du calcul serverless au stockage. Consultez l’article Mise en réseau du plan de calcul serverless.

Vous pouvez configurer des fonctionnalités de mise en réseau de stockage Azure, notamment des points de terminaison privés, pour sécuriser la connexion entre le plan de calcul classique et vos ressources Azure. Consultez Accorder à votre espace de travail Azure Databricks l’accès à Azure Data Lake Storage et les recommandations de mise en réseau pour la Fédération Lakehouse.

Vous pouvez également activer la prise en charge du pare-feu pour le compte de stockage de l’espace de travail afin de limiter l’accès au compte à partir de réseaux et de connexions autorisés. Consultez Activer la prise en charge du pare-feu pour votre compte de stockage d’espace de travail.

La connectivité entre le plan de contrôle et le plan de calcul serverless est toujours sur le réseau principal Azure et non sur l’Internet public.

Get started

Comprendre l’architecture de mise en réseau Databricks et explorer les concepts clés.

Sujet Descriptif
Vue d’ensemble de l’architecture Databricks Découvrez l’architecture du plan de contrôle et du plan de calcul qui constitue la base de la mise en réseau Databricks.
Azure Private Link Établissez des connexions privées entre votre réseau et Databricks à l’aide d’Azure Private Link pour renforcer la sécurité.
Comprendre les coûts de transfert et de connectivité des données Découvrez la tarification du transfert de données et optimisez les coûts des fonctionnalités de connectivité réseau.

Connectivity

Configurez des connexions réseau sécurisées pour l’accès entrant aux espaces de travail et la connectivité sortante à partir de ressources de calcul.

Sujet Descriptif
Réseau frontal Configurez les contrôles d’accès réseau pour les utilisateurs qui se connectent à des espaces de travail Databricks via l’interface web et les API.
Lien privé de l'interface utilisateur Activez la connectivité privée entre votre réseau d’entreprise et les espaces de travail Databricks à l’aide d’Azure Private Link.
Mise en réseau du plan de calcul serverless Configurez l’accès réseau sécurisé entre les ressources de calcul serverless et vos sources de données et services.
Connectivité privée aux ressources Azure Établissez des connexions privées à partir d’un calcul sans serveur vers le stockage Azure, la base de données SQL, et d’autres services Azure.
Connectivité privée aux ressources dans votre réseau virtuel Connectez le calcul serverless aux ressources s’exécutant dans votre propre réseau virtuel à l’aide de points de terminaison privés.
Gérer les règles de point de terminaison privé Configurez et gérez des règles de points de terminaison privés pour la connectivité de calcul sans serveur.
Mise en réseau du plan de calcul classique Découvrez les options de mise en réseau pour les ressources de calcul classiques déployées dans votre réseau virtuel.
Déployer Azure Databricks dans votre réseau virtuel Héberger des clusters Databricks dans votre propre réseau virtuel Azure pour un contrôle réseau amélioré (injection de réseau virtuel).
Réseaux virtuels de pair à pair Connectez votre réseau virtuel Databricks à d’autres réseaux virtuels de votre abonnement Azure pour accéder à des ressources supplémentaires.
Connecter un espace de travail à un réseau local Étendez votre réseau d’entreprise à Databricks à l’aide d’un VPN ou d’Azure ExpressRoute.
Liaison privée back-end Établissez une connectivité privée entre les ressources de calcul classiques et le plan de contrôle Databricks.
Paramètres d’itinéraire définis par l’utilisateur Configurez des itinéraires définis par l’utilisateur pour contrôler le flux de trafic à partir de clusters Databricks.
Mettre à jour la configuration réseau de l’espace de travail Modifiez les configurations réseau pour les espaces de travail existants.
Sécurisation de la connectivité des clusters Activez la connectivité sortante uniquement entre les clusters et le plan de contrôle sans ports entrants ouverts.

Sécurité réseau

Implémentez des contrôles de sécurité pour restreindre et surveiller l’accès réseau.

Sujet Descriptif
Qu’est-ce que le contrôle de sortie sans serveur ? Limitez les connexions réseau sortantes à partir de ressources de calcul serverless pour empêcher l’exfiltration des données et appliquer la conformité.
Gérer les stratégies réseau pour le contrôle de sortie serverless Créez et gérez des stratégies réseau qui définissent les connexions de sortie autorisées à partir du calcul serverless.
Vue d’ensemble des listes d’accès IP Découvrez comment utiliser des listes d’accès IP pour contrôler les adresses IP qui peuvent accéder à vos espaces de travail Databricks.
Listes d’accès IP pour les espaces de travail Configurez les contrôles d’accès IP au niveau de l’espace de travail pour restreindre l’accès à partir de réseaux approuvés.
Listes d’accès IP pour la console de compte Définissez les restrictions IP au niveau du compte qui s’appliquent à plusieurs espaces de travail pour la gestion centralisée de la sécurité.
Configurer des stratégies de point de terminaison de service pour l’accès au stockage Utilisez des points de terminaison de service Azure pour sécuriser la connectivité entre les comptes Databricks et Stockage Azure.
Activer la prise en charge du pare-feu pour votre compte de stockage d’espace de travail Configurez les règles de pare-feu stockage Azure pour autoriser l’accès à partir de ressources de calcul classiques Databricks.
Configurer un pare-feu Azure Storage pour l’accès au calcul sans serveur Utilisez des tags de service stables pour configurer des règles de pare-feu de stockage Azure pour la connectivité de calcul serverless.
Règles de pare-feu de noms de domaine Configurez des règles de pare-feu basées sur un domaine pour autoriser les services Databricks via vos contrôles de sécurité réseau.
Modèle ARM pour la prise en charge du pare-feu Utilisez des modèles Azure Resource Manager pour automatiser la configuration du pare-feu pour les comptes de stockage d’espace de travail.
  • Last updated on