Analyses et insights en libre-service

L’analytique et les insights en libre-service font référence aux données, outils et plateformes qui permettent aux utilisateurs professionnels d’accéder, d’analyser et de générer des insights à partir de données indépendamment. La gouvernance des données Microsoft Purview publie un modèle de domaine de métadonnées dans Microsoft Fabric OneLake et Microsoft Azure Data Lake Storage Gen2, afin que vous puissiez analyser et générer des insights en apportant vos propres outils et calculs. L’analyse en libre-service des métadonnées de gouvernance des données est utile pour favoriser l’amélioration continue de la gestion de l’intégrité de votre patrimoine de données et favoriser une culture pilotée par les données dans votre organization en démocratisant l’accès aux insights sur le patrimoine de données et à la gestion de l’intégrité.

Composants clés

• Modèle de données : modèle 3NF avec les détails des domaines et des dimensions.
• Métadonnées: Métadonnées de gouvernance des données qui incluent :
  • Domaines de gouvernance
  • Produits de données
  • Ressources de données
  • Termes du glossaire
  • Demande d’abonnement
  • Règles sur la qualité des données
  • Dimensions
  • Faits sur la qualité des données (nombres de réussites et d’échecs)
  • Actions d’intégrité des données (y compris les actions de qualité des données)
  • Et bien d’autres

Avantages

• Autonomisation: Permet aux praticiens des données, aux propriétaires de produits de données, aux gestionnaires de données et aux analystes d’explorer les métadonnées de gouvernance des données et de lier les métadonnées de différentes sources pour dériver des insights.
• Flexibilité et efficacité : Vous pouvez créer des rapports personnalisés en plus des rapports prêtes à l’emploi dans la gestion de l’intégrité.
• Agilité: Permet à votre organization de répondre plus rapidement aux problèmes de gestion de l’intégrité et à la correction.
• Rentable: Réduit la nécessité de configurer des plateformes et des outils de génération. Toutes les données sont disponibles dans OneLake et vous pouvez utiliser les outils disponibles (modèle sémantique Fabric, Microsoft Power BI création de rapports, flux de données et notebook) dans OneLake.

Rapports actuellement disponibles (prêtes à l’emploi)

Voici les rapports prêtes à l’emploi disponibles. Vous ne pouvez pas personnaliser ces rapports.

• Ressources classiques : vue d’ensemble des ressources par type et collection, ainsi que de leurs status de curation.
• Adoption du catalogue classique : pour comprendre en un coup d’œil comment Catalogue unifié est utilisé. votre glossaire, en fournissant une instantané de termes et leur status.
• Classifications classiques : vue d’ensemble des ressources classifiées et des types de classifications.
• Gestion des données classique : vue d’ensemble des ressources classifiées et des types de classifications.
• Glossaire classique : intégrité et utilisation des termes du glossaire.
• Étiquettes de confidentialité classiques : vue d’ensemble des ressources auxquelles des étiquettes de confidentialité sont appliquées et des types d’étiquettes appliquées.
• Gouvernance des données : le rapport d’intégrité de la gouvernance des données permet à votre équipe de suivre la progression de votre intégrité en un coup d’œil et d’identifier les domaines qui nécessitent plus de travail.
• Intégrité de la qualité des données : rapports sur les performances des dimensions de la qualité des données et des règles de qualité des données.

Modèle de données pour les métadonnées d’analyse en libre-service

Le modèle de domaine 3NF fait partie du processus de normalisation dans la conception de base de données relationnelle. Il garantit que la base de données est exempte d’anomalies de redondance et de mise à jour. Un schéma de base de données se trouve dans la troisième forme normale s’il répond aux exigences des première et deuxième formes normales et si tous ses attributs dépendent uniquement de la clé primaire. Utilisez le modèle de domaine 3NF pour structurer les données d’une manière qui minimise la duplication et garantit l’intégrité des données. Il se concentre sur la décomposition des données en tables connexes plus petites où chaque élément d’information n’est stocké qu’une seule fois.

Caractéristiques:

• Élimination des dépendances transitives : les attributs non clés ne doivent pas dépendre d’autres attributs non clés.
• Regroupement logique : les données sont regroupées logiquement en domaines en fonction de leur fonction ou de leur signification.
• Diagrammes Entity-Relationship (ERD) : couramment utilisés pour représenter des modèles de domaine 3NF, montrant comment les entités sont liées les unes aux autres.

* Le domaine d’entreprise a été renommé « Domaine de gouvernance » dans la nouvelle expérience utilisateur Catalogue unifié, mais il n’est pas renommé dans le modèle physique de la base de données. Le changement de nom n’affecte pas le scénario d’utilisation décrit ici pour Domaine d’entreprise.

Ce diagramme montre la relation d’entité pour le modèle de domaine décrit dans le tableau précédent :

S’abonner Catalogue unifié métadonnées à Fabric OneLake

Abonnez-vous aux métadonnées de gouvernance des données Microsoft Purview pour l’analytique et obtenez des insights en procédant comme suit :

1. Dans le portail Microsoft Purview, sélectionnez Paramètres, puis Catalogue unifié, puis Intégrations de solutions (préversion) .

2. Vérifiez que vous disposez du rôle Administrateur de gouvernance des données (en savoir plus sur les rôles et les autorisations).

3. Sélectionnez Modifier.

4. Ajoutez le type de stockage et Activé l’installation.

5. Ajouter une URL d’emplacement (exemple : https://onelake.dfs.fabric.microsoft.com/workspace name/lakehouse name/Files/purviewmetadata)

6. Sélectionnez Propriétés pour copier l’URL.

   

7. Copiez l’URL à partir de la page Propriétés .

   

8. Ajoutez le nom du dossier à la fin de l’URL ; par exemple, /DEH, comme illustré dans l’image précédente.

9. Accordez contributeur accès à Microsoft Purview Manage Service Identity (MSI) à votre espace de travail Fabric.

10. Testez la connexion.

11. Sélectionnez Enregistrer pour enregistrer la configuration et publier les métadonnées Microsoft Purview dans votre espace de travail OneLake.

Activer le réseau virtuel managé

Pour activer et désactiver le réseau virtuel managé, procédez comme suit :

1. Dans le portail Microsoft Purview, sélectionnez Paramètres.
2. Sous Paramètres de la solution, sélectionnez Catalogue unifié, puis Intégrations de solutions (préversion) .
3. Dans le volet volant Configurer le stockage , sélectionnez le bouton bascule Activer V-NET managé pour activer le réseau virtuel managé pour votre stockage.

1. Entrez l’ID de ressource cible. Par exemple, l’ID de ressource cible est : /subscriptions/e2223ea4f73-6833-439d-b40e 615c78e2d8af/resourceGroups/vnettesting/providers/. Pour copier un ID de ressource de votre stockage, sélectionnez l’affichage Json de votre stockage et copiez la chaîne Json.
2. Sélectionnez Mettre à jour/Actualiser mpe status pour afficher la mise à jour. Le status passe de Provisioning à Pending.
3. Vous devez approuver la demande MPE dans le Portail Azure Microsoft pour terminer l’installation. Une fois que vous avez approuvé la demande, l’status mpe passe de En attente à Approuvé.

Désactivez la configuration du réseau virtuel en sélectionnant le bouton bascule Activer V-NET managé pour le désactiver. Si vous le désactivez, vous devez modifier le point de terminaison de stockage réseau non virtuel.

Supprimer un réseau virtuel configuré

Pour supprimer une configuration de réseau virtuel managé, sélectionnez Supprimer mpe dans le volet volant Configurer le stockage . Cette action supprime la configuration du réseau virtuel et la supprime du volet Configurer le stockage . La zone Tester la connexion réapparaît, ce qui vous permet de tester une connexion réseau non virtuelle. Le test de connexion est activé uniquement pour la configuration du stockage non virtuel.

Configuration de réseau virtuel managé pour le stockage Fabric

Si votre locataire Fabric est configuré pour s’exécuter sur Réseau virtuel ou dans Private Link, vous devez sélectionner Activer le réseau virtuel managé dans le volet Configurer le stockage, puis ajouter un ID de ressource Private Link comme indiqué ici :/subscriptions/07d669d6-83f2-4f15-8b5b-4a4b31a3432/resourceGroups/pdgbugbashfabricvnet/providers/Microsoft.PowerBI/privateLinkServicesForPowerBI/fabricvnetpl.

Pour configurer le calcul pour les réseaux virtuels, consultez Configurer la qualité des données pour les réseaux virtuels managés. Vous devez configurer la liaison privée pour le locataire Fabric avant de configurer la connexion au réseau virtuel de qualité des données et l’allocation de calcul.

Informations utiles sur la configuration du réseau virtuel

• Veillez à utiliser l’URL d’emplacement ou le point de terminaison à partir du stockage de réseau virtuel lorsque vous activez le réseau virtuel managé pour stocker les métadonnées Microsoft Purview.
• Pour éviter d’utiliser un groupe de ressources incorrect, utilisez la vue JSN pour copier « ID de ressource cible » de votre Portail Azure.
• Si vous avez supprimé le réseau virtuel configuré, veillez à modifier le point de terminaison ou l’URL d’emplacement pour utiliser le stockage réseau non virtuel et tester la connexion pour le stockage réseau non virtuel.

Créer un modèle sémantique dans OneLake

Un modèle sémantique dans le contexte des données et de l’analytique fait référence à une représentation structurée des données qui définit la signification, les relations et les règles au sein d’un domaine spécifique. Il fournit une couche d’abstraction qui permet aux utilisateurs de comprendre et d’interagir avec des données complexes en les rendant plus intuitives et plus accessibles, en particulier dans le contexte de l’aide à la décision (BI) et des plateformes d’analyse. Un modèle sémantique est toujours nécessaire avant de pouvoir générer des rapports. Dans l’entrepôt, un utilisateur peut ajouter des objets d’entrepôt ( tables ou vues) à son modèle sémantique Power BI par défaut. Ils peuvent également ajouter d’autres propriétés de modélisation sémantique, telles que des hiérarchies et des descriptions. Ces propriétés sont ensuite utilisées pour créer les tables du modèle sémantique Power BI. Les utilisateurs peuvent également supprimer des objets du modèle sémantique Power BI par défaut.

Pour créer un modèle sémantique à partir du modèle de domaine de métadonnées Gouvernance des données Microsoft Purview :

1. Ouvrez Lakehouse dans votre espace de travail Fabric.

2. Utilisez raccourci pour créer un raccourci du modèle de domaine à partir de OneLake et dans OneLake.

   1. Sélectionnez le bouton Points de suspension tables (...).
   2. Sélectionnez Nouveau raccourci , puis Microsoft OneLake à partir de la page Nouvelles sources de raccourci.
   3. Sélectionnez le raccourci de la table DomainModel .

   

3. Créez un raccourci directement au niveau de la table pour tous les fichiers, ce qui élimine les enregistrements en double.

   

Après avoir publié tous les fichiers dans les tables delta via un raccourci, vous pouvez ajouter les tables delta au modèle sémantique.

1. Basculez vers la page du point de terminaison d’analytique SQL à partir de la page Lakehouse.
2. Sélectionnez Rapports dans le coin supérieur gauche de la page du point de terminaison SQL Analytics .
3. Sélectionnez Gérer le modèle sémantique par défaut.
4. Sélectionnez les tables dbo > Tables que vous souhaitez ajouter au modèle sémantique pour la création de rapports.

Pour ajouter des objets tels que des tables ou des vues au modèle sémantique Power BI par défaut, sélectionnez Mettre à jour automatiquement le modèle sémantique.

S’abonner aux métadonnées du catalogue Purview pour Data Lake Storage Gen2 stockage

Abonnez-vous aux métadonnées de gouvernance des données de Microsoft Purview pour les publier et les stocker dans votre stockage AdlsG2 à des fins d’analytique et d’insights en procédant comme suit :

1. Dans le portail Microsoft Purview, ouvrez Catalogue unifié.

2. Sélectionnez Paramètres dans le volet de navigation de gauche, puis sous Paramètres de la solution, sélectionnez Catalogue unifié.

3. Sélectionnez Intégration de la solution, puis Modifier.

4. Sélectionnez Type de stockage et Activé l’installation.

5. Ajouter une URL d’emplacement. Cette URL doit être le chemin d’accès Data Lake Storage Gen2 plus le nom du conteneur, au format Data Lake Storage Gen2 + « /(nom du conteneur) ».

   1. Rendez-vous sur portal.azure.com.
      1. Sélectionnez votre stockage Data Lake Storage Gen2 (Accueil > adlsg2).
   2. Accédez à Paramètres>Points de terminaison et sélectionnez le point de terminaison principal de votre stockage Microsoft Azure Data Lake.

6. Accordez à Contributeur aux données Blob du stockage l’accès à Microsoft Purview Manage Service Identity (MSI) pour votre conteneur Data Lake Storage Gen2.

7. Testez la connexion.

   

8. Sélectionnez Enregistrer pour enregistrer la configuration et publier le modèle de domaine dans votre stockage Data Lake Storage Gen2.

Passer en revue le modèle et les données publiées

1. Ouvrez portal.azure.com.

2. Sélectionnez votre stockage Data Lake Storage Gen2.

3. Sélectionnez le conteneur que vous avez ajouté avec le point de terminaison Data Lake Storage Gen2 dans Microsoft Purview.

4. Parcourez la liste des fichiers Delta Parquet publiés dans le conteneur.

5. Parcourez le modèle et les métadonnées publiés (voir les images suivantes).

   

   

Créer un rapport Power BI

Power BI est intégré en mode natif à l’ensemble de l’expérience Fabric. Cette intégration native inclut un mode unique, appelé DirectLake, pour accéder aux données à partir de lakehouse afin de fournir l’expérience de requête et de création de rapports la plus performante. DirectLake est une nouvelle fonctionnalité révolutionnaire qui vous permet d’analyser des modèles sémantiques volumineux dans Power BI. Avec DirectLake, vous chargez des fichiers au format Parquet directement à partir d’un lac de données sans avoir à interroger un entrepôt de données ou un point de terminaison lakehouse, et sans avoir à importer ou dupliquer des données dans un modèle sémantique Power BI. DirectLake est un chemin d’accès rapide pour charger les données du lac de données directement dans le moteur Power BI, prêt à être analysé.

En mode DirectQuery traditionnel, le moteur Power BI interroge directement les données de la source pour chaque exécution de requête, et les performances des requêtes dépendent de la vitesse de récupération des données. DirectQuery élimine la nécessité de copier des données, ce qui garantit que toutes les modifications apportées à la source sont immédiatement reflétées dans les résultats de la requête.

Pour plus d’informations, consultez Comment créer un rapport Power BI dans Microsoft Fabric.

Configurer la planification

Les administrateurs de gouvernance des données peuvent configurer la planification d’actualisation des métadonnées analytiques en libre-service en procédant comme suit :

1. Dans le portail Microsoft Purview, ouvrez Catalogue unifié.
2. Sélectionnez Paramètres dans le volet de navigation de gauche, puis sous Paramètres de la solution, sélectionnez Catalogue unifié.
3. Sélectionnez Intégration de la solution, puis sélectionnez l’icône du planificateur.
4. Dans Planifier l’analytique en libre-service, activez le bouton bascule Activé , puis définissez la date de début, la fréquence et la date de fin.
5. Sélectionnez Enregistrer.

Historique des travaux

Vous pouvez parcourir l’historique des travaux en cliquant sur l’icône Historique des travaux située dans la page d’analyse en libre-service. Vous pouvez filtrer le travail status Terminé ou Échec pour une plage de dates.

Contenu connexe

• Raccourcis OneLake
• Activateur de données fabric
• Qu’est-ce que l’activateur de données ?
• Générer l’automatisation avec PowerAPP
• Diagramme de relation d’entité pour le modèle de domaine