Tutoriel : Configurer des bases de données mises en miroir Microsoft Fabric à partir d’Azure Databricks

La mise en miroir de bases de données dans Microsoft Fabric est une technologie SaaS basée sur le cloud et basée sur le cloud. Ce guide vous aide à établir une base de données mise en miroir à partir d’Azure Databricks, qui crée une copie en lecture seule et en continu de vos données Azure Databricks dans OneLake.

Prerequisites

• Vous devez activer l’accès aux données externes sur le metastore. Pour plus d’informations, consultez Activer l’accès aux données externes sur le metastore.
• Créez ou utilisez un espace de travail Azure Databricks existant avec Unity Catalog activé.
• Vous devez disposer du EXTERNAL USE SCHEMA privilège sur le schéma dans le catalogue Unity qui contient les tables accessibles à partir de Fabric.
• Vous devez utiliser le modèle d’autorisations de Fabric pour définir des contrôles d’accès pour les catalogues, les schémas et les tables dans Fabric.
• Les espaces de travail Azure Databricks ne peuvent pas se trouver derrière un point de terminaison privé.

Créer une base de données mise en miroir à partir d’Azure Databricks

Suivez ces étapes pour créer une base de données mise en miroir à partir de votre catalogue Azure Databricks Unity.

1. Accédez à https://powerbi.com.

2. Sélectionnez + Nouveau , puis catalogue Azure Databricks mis en miroir.

   

3. Sélectionnez une connexion existante si vous en avez une configurée.

   • Si vous n’avez pas de connexion existante, créez une connexion et entrez tous les détails. Vous pouvez vous authentifier auprès de votre espace de travail Azure Databricks à l’aide du « compte organisationnel » ou du « principal du service ». Pour créer une connexion, vous devez être un utilisateur ou un administrateur de l’espace de travail Azure Databricks.
   • Pour accéder aux comptes Azure Data Lake Storage (ADLS) Gen2 derrière un pare-feu, vous devez suivre les étapes permettant d’activer l’accès à la sécurité réseau pour votre compte Azure Data Lake Storage Gen2 plus loin dans cet article.

4. Une fois que vous vous connectez à un espace de travail Azure Databricks, dans la page Choisir des tables dans une page de catalogue Databricks , vous pouvez sélectionner le catalogue, les schémas et les tables via la liste d’inclusion/exclusion que vous souhaitez ajouter et accéder à partir de Microsoft Fabric. Sélectionnez le catalogue et ses schémas et tables associés que vous souhaitez ajouter à votre espace de travail Fabric.

   • Vous ne pouvez voir que les catalogues/schémas/tables auxquels vous avez accès en fonction des privilèges qui leur sont accordés conformément au modèle de privilège décrit dans les privilèges de catalogue Unity et les objets sécurisables.
   • Par défaut, la synchronisation automatique des modifications ultérieures du catalogue pour le schéma sélectionné est activée. Pour plus d’informations, consultez La mise en miroir du catalogue Azure Databricks Unity.
   • Lorsque vous avez effectué vos sélections, sélectionnez Suivant.

5. Par défaut, le nom de l’élément est le nom du catalogue que vous essayez d’ajouter à Fabric. Dans la page Vérifier et créer , vous pouvez passer en revue les détails et éventuellement modifier le nom de l’élément de base de données mis en miroir, qui doit être unique dans votre espace de travail. Cliquez sur Créer.

6. Un élément de catalogue Databricks est créé et, pour chaque table, un raccourci de type Databricks correspondant est également créé.

   • Les schémas qui n’ont pas de tables ne sont pas affichés.

7. Vous pouvez également afficher un aperçu des données lorsque vous accédez à un raccourci en sélectionnant le point de terminaison d’analytique SQL. Ouvrez l’élément de point de terminaison SQL Analytics pour lancer la page De l’Explorateur et de l’éditeur de requête. Vous pouvez interroger vos tables Azure Databricks mises en miroir avec T-SQL dans l’éditeur SQL.

Créer des raccourcis Lakehouse vers l’élément de catalogue Databricks

Vous pouvez également créer des raccourcis à partir de votre lakehouse vers votre élément de catalogue Databricks pour utiliser vos données Lakehouse et utiliser des notebooks Spark.

1. Tout d’abord, nous créons un lac. Si vous disposez déjà d’un lakehouse dans cet espace de travail, vous pouvez utiliser un lakehouse existant.
   1. Sélectionnez votre espace de travail dans le menu de navigation.
   2. Sélectionnez + New>Lakehouse.
   3. Indiquez un nom pour votre lakehouse dans le champ Nom , puis sélectionnez Créer.
2. Dans l’affichage Explorateur de votre lakehouse, dans le menu Obtenir les données de votre lakehouse , sous Charger des données dans votre lakehouse, sélectionnez le bouton Nouveau raccourci .
3. Sélectionnez Microsoft OneLake. Sélectionnez un catalogue. Il s’agit de l’élément de données que vous avez créé lors des étapes précédentes. Ensuite, sélectionnez Suivant.
4. Sélectionnez des tables dans le schéma, puis sélectionnez Suivant.
5. Cliquez sur Créer.
6. Les raccourcis sont désormais disponibles dans votre Lakehouse pour les utiliser avec vos autres données Lakehouse. Vous pouvez également utiliser Notebooks et Spark pour effectuer le traitement des données sur les données de ces tables de catalogue que vous avez ajoutées à partir de votre espace de travail Azure Databricks.

Créer un modèle sémantique

Vous pouvez créer un modèle sémantique Power BI basé sur votre élément mis en miroir et ajouter/supprimer manuellement des tables. Pour plus d’informations sur la création et la gestion de modèles sémantiques, consultez Créer un modèle sémantique Power BI.

Pour une expérience optimale, il est recommandé d’utiliser Microsoft Edge Browser pour les tâches de modélisation sémantique.

Gérer vos relations de modèle sémantique

Une fois que vous avez créé un modèle sémantique basé sur votre base de données mise en miroir,

1. Sélectionnez Les dispositions de modèle dans l’Explorateur dans votre espace de travail.
2. Une fois les dispositions de modèle sélectionnées, vous êtes présenté avec un graphique des tableaux inclus dans le cadre du modèle sémantique.
3. Pour créer des relations entre les tables, faites glisser un nom de colonne d’une table vers un autre nom de colonne d’une autre table. Une fenêtre contextuelle est présentée pour identifier la relation et la cardinalité des tables.

Activer l’accès à la sécurité réseau pour votre compte Azure Data Lake Storage Gen2

Cette section vous guide sur la configuration de la sécurité réseau pour votre compte Azure Data Lake Storage (ADLS) Gen2, lorsqu’un pare-feu Stockage Azure est configuré. 

Prerequisites

• Créez ou utilisez un espace de travail Azure Databricks existant avec Unity Catalog activé.
• Pour activer le type d’authentification d’identité de l’espace de travail (recommandé), l’espace de travail Fabric doit être associé à n’importe quelle capacité F. Pour créer une identité d’espace de travail, consultez Authentifier avec l’identité de l’espace de travail.
• Cette section est destinée à atteindre un compte de stockage Azure Data Lake Storage (ADLS) Gen2 derrière un pare-feu Stockage Azure. Le stockage d’espace de travail Azure Databricks derrière un pare-feu Stockage Azure n’est pas pris en charge.
• Un catalogue doit être associé à un seul compte de stockage.

Activer l’accès à la sécurité réseau

1. Lors de la création d’un catalogue Azure Databricks mis en miroir, dans l’étape Choisir des données , sélectionnez l’onglet Sécurité réseau .

   

2. Sélectionnez une connexion existante au compte de stockage si vous en avez configuré un. 

   • Si vous n’avez pas de connexion ADLS existante, créez une connexion.  
   • L’URL du point de terminaison de stockage est l’emplacement où les données du catalogue sélectionné sont stockées. Le point de terminaison doit être le dossier spécifique dans lequel les données sont stockées, plutôt que de spécifier le point de terminaison au niveau du compte de stockage. Par exemple, fournissez https://<storage account>.dfs.core.windows.net/container1/folder1 plutôt que https://<storage account>.dfs.core.windows.net/.
   • Fournissez les informations d’identification de connexion. Les types d’authentification pris en charge sont le compte organisationnel, le principal de service et l’identité de l’espace de travail (recommandé).

3. Dans le portail Azure, fournissez des droits d’accès au compte de stockage en fonction du type d’authentification que vous avez choisi à l’étape précédente. Accédez au compte de stockage dans le portail Azure. Sélectionnez Contrôle d’accès (IAM). Sélectionnez +Ajouter et ajouter une attribution de rôle. Pour plus d’informations, consultez Affecter des rôles Azure à l’aide du portail Azure.

   • Si vous avez spécifié le compte de stockage dans le cadre de la connexion, l’objet d’authentification choisi doit avoir le rôle Lecteur de données Blob de stockage sur le compte de stockage. 
   • Si vous avez spécifié un conteneur spécifique dans le cadre de la connexion, l’objet d’authentification choisi doit avoir le rôle Lecteur de données Blob de stockage sur le conteneur.  
   • Si vous avez spécifié un dossier spécifique au sein d’un conteneur (recommandé), l’objet d’authentification choisi doit avoir la valeur Read (R) et Execute (E) au niveau du dossier. Si vous utilisez le principal de service ou l’identité de l’espace de travail comme type d’authentification, vous devez accorder à ce principal de service ou à l’identité de l’espace de travail des autorisations d’exécution pour le dossier racine du conteneur et à chaque dossier de la hiérarchie des dossiers qui mènent au dossier que vous avez spécifié. 

   Pour plus d’informations et des étapes d’octroi d’accès ADLS, consultez le contrôle d’accès ADLS.

4. Activez l’accès à un espace de travail approuvé pour accéder aux comptes Azure Data Lake Storage (ADLS) Gen2 activés par le pare-feu de manière sécurisée. L’accès à l’espace de travail approuvé nécessite la création d’une connexion directement au compte de stockage ADLS qui peut être utilisé indépendamment de la connexion de l’espace de travail Azure Databricks. Pour plus d’informations, consultez bases de données mises en miroir Secure Fabric à partir d’Azure Databricks.

5. Un raccourci vers les tables du catalogue Unity est créé pour les tables dont le nom du compte de stockage correspond au compte de stockage spécifié dans la connexion ADLS. Pour les tables dont le nom du compte de stockage ne correspond pas au compte de stockage spécifié dans la connexion ADLS, les raccourcis pour ces tables ne seront pas créés. 

Activer la sécurité OneLake sur l’élément Databricks mis en miroir

Mappez les stratégies de catalogue Unity (UC) à la sécurité Microsoft OneLake en procédant comme suit :

1. Synchronisez le groupe Entra et appliquez des autorisations dans le catalogue Unity. Dans Azure Databricks, utilisez Automatic Identity Management pour synchroniser un groupe d’ID Microsoft Entra et lui accorder les privilèges de catalogue Unity nécessaires, par exemple, USE, BROWSE, SELECT sur le catalogue/tables appropriés.
2. Attribuez un rôle d’accès aux données OneLake. Dans l’espace de travail Fabric, créez un rôle d’accès aux données pour les données nouvellement mises en miroir. Ajoutez le même groupe Entra à ce rôle et accordez-lui un accès en lecture aux raccourcis OneLake correspondant aux tables Azure Databricks. Vous pouvez commencer à utiliser immédiatement la sécurité au niveau de la table dans le bouton Gérer la sécurité OneLake dans le ruban. Veillez à conserver les configurations d’accès synchronisées à mesure que les structures de catalogue et les autorisations évoluent. Pour plus d’informations, consultez le modèle de contrôle d’accès aux données OneLake (préversion).

Contenu connexe

• Bases de données mises en miroir Secure Fabric à partir d’Azure Databricks
• Blog : Sécuriser les données Azure Databricks mises en miroir dans Fabric avec la sécurité OneLake
• Limitations dans les bases de données mises en miroir Microsoft Fabric à partir d’Azure Databricks
• Forum aux questions sur les bases de données mises en miroir à partir d’Azure Databricks dans Microsoft Fabric
• Mise en miroir du catalogue Unity Azure Databricks
• Contrôler l’accès externe aux données dans le catalogue Unity