Pipelines de déploiement et intégration Git du Lakehouse

Le Lakehouse s’intègre aux fonctionnalités de gestion du cycle de vie dans Microsoft Fabric, ce qui permet une collaboration standardisée entre tous les membres de l’équipe de développement tout au long de la vie du produit. La gestion du cycle de vie facilite et améliore le processus de mise en production et de gestion des versions du produit en fournissant en continu des fonctionnalités et des correctifs de bogues dans divers environnements. Pour en savoir plus, consultez Qu’est-ce que la gestion du cycle de vie dans Microsoft Fabric ?.

Qu’est-ce qui est suivi dans Git et les pipelines de déploiement ?

Le tableau suivant récapitule l’élément Lakehouse et les sous-éléments et leur prise en charge dans les espaces de travail et les pipelines de déploiement connectés à Git.

expérience Opt-In pour les types d’objets

Lakehouse offre une expérience d’opt-in qui active ou désactive les types d’objets de suivi dans git et les pipelines de déploiement. Pour activer l’expérience, accédez aux paramètres Lakehouse et activez le suivi des types d’objets souhaités.

Cette fonctionnalité offre les avantages suivants pour deux raisons :

• Donnez la possibilité aux équipes de développement de choisir les types d’objets qui sont suivis dans les pipelines git et de déploiement en fonction de leurs besoins et flux de travail spécifiques. Les équipes peuvent vouloir orchestrer des types d’objets via des outils ou des scripts externes. En outre, certains types d’objets peuvent ne pas être pertinents pour toutes les étapes d’un pipeline de déploiement.
• Introduisez progressivement de nouveaux types d’objets pour le suivi, ce qui permet aux équipes d’adapter les flux de travail et les automatisations existants avant d’opter pour d’autres types d’objets. Cela protège contre les interruptions potentielles des flux de travail et des automatisations existants.

Les comportements suivants sont appliqués lors de l'activation ou la désactivation du suivi des types d'objets :

• Après avoir choisi de suivre un type d’objet qui n’a pas été suivi avant et synchronisé les modifications apportées à Git, l’état actuel des métadonnées de ce type d’objet est sérialisé et stocké dans git. Les modifications futures apportées à ce type d’objet sont suivies et synchronisées entre les espaces de travail dans les pipelines de déploiement.
• Après avoir annulé le suivi d’un type d’objet qui a été suivi précédemment, les métadonnées de type objet ne sont plus sérialisées ou stockées dans git. Les modifications futures apportées à ce type d’objet ne seront pas suivies ou synchronisées entre les espaces de travail dans les pipelines de déploiement. Les métadonnées existantes dans git sont supprimées.
• Les nouveaux lakehouses sont créés avec tous les types d'objets activés par défaut, à l'exception de ceux en état de prévisualisation.
• Les lakehouses existants conservent l'état de suivi de leurs types d'objets actuels, à moins que l'utilisateur ne le modifie.

Les définitions de suivi ALM sont stockées dans un fichier nommé alm.settings.json sous le dossier lakehouse dans git. Ces configurations peuvent être modifiées et mises en version directement dans le référentiel Git en modifiant le alm.settings.json fichier, puis en appliquant ces modifications à l’espace de travail.

Intégration Git du Lakehouse

Le Lakehouse est un élément qui contient des métadonnées et des données référencées dans plusieurs objets de l’espace de travail. Lakehouse contient des références aux tables, dossiers et raccourcis en tant qu’éléments de conteneur de données gérables principaux. Dans le cadre d’un workflow de développement, les objets dépendants suivants peuvent référencer un Lakehouse :

• Flux de données et pipelines
• Définitions de travaux Spark
• Blocs-notes
• Modèles sémantiques et Power BI

Les métadonnées du point de terminaison d’analyse SQL sont liées à un Lakehouse et gérées par le processus de mise à jour git par défaut. Le principe est que les données ne sont pas suivies dans Git ; seules les métadonnées sont suivies.

Représentation Git

Les informations de lakehouse suivantes sont sérialisées et suivies dans un espace de travail connecté à Git :

• Nom d’affichage
• Descriptif
• Guid logique

Capacités d'intégration des artefacts Lakehouse, de Git et des pipelines de déploiement

Les fonctionnalités suivantes sont disponibles :

• Sérialisation des métadonnées de l’objet d’artefact Lakehouse vers une représentation JSON git.
• Appliquez les modifications directement ou utilisez une demande de tirage (pull request) pour contrôler les modifications apportées aux espaces de travail et branches en amont ou en aval.
• Le renommage des lakehouses fait l’objet d’un suivi dans Git. La mise à jour d'un lakehouse renommé renomme également l'endpoint SQL Analytics.
• Aucune action n’est appliquée aux métadonnées de tables et de dossiers, et les données de ces éléments sont toujours conservées.
• Les métadonnées de raccourcis OneLake sont conservées dans git.

Le Lakehouse est pris en charge dans les pipelines de déploiement de la gestion du cycle de vie de Microsoft Fabric. Il applique les bonnes pratiques de segmentation de l’environnement.

Fonctionnalités d’intégration des pipelines de déploiement du Lakehouse :

• Déploiement dans des espaces de travail de développement, de test et de production.
• Lakehouse peut être supprimé comme objet dépendant lors du déploiement. Le mappage de différents lakehouses dans le contexte des pipelines de déploiement est également pris en charge.

  • Si rien n’est spécifié lors de la configuration du pipeline de déploiement, un objet Lakehouse vide portant le même nom est créé dans l’espace de travail cible. Les notebooks et les définitions de travaux Spark sont remappés pour référencer le nouvel objet Lakehouse dans le nouvel espace de travail.

  • Si la dépendance du Lakehouse est configurée pour référencer un autre Lakehouse durant le processus de configuration des pipelines de déploiement, tel que le Lakehouse en amont, un objet Lakehouse vide portant le même nom est toujours créé dans l’espace de travail cible, mais les références aux notebooks et aux définitions de travaux Spark sont conservées dans un autre Lakehouse comme demandé.

  • Les points de terminaison SQL Analytics et les modèles sémantiques sont provisionnés dans le cadre du déploiement du Lakehouse.

• Les renommages du Lakehouse peuvent être synchronisés entre tous les espaces de travail dans un contexte de pipeline de déploiement.

Les fonctionnalités d’intégration des raccourcis OneLake avec git et les pipelines de déploiement

Lorsque vous utilisez l'intégration git avec Lakehouse, les métadonnées des raccourcis OneLake sont enregistrées dans git. Les fonctionnalités suivantes sont disponibles pour l’intégration git :

• Les définitions de raccourcis dans la section Tables et Fichiers sont stockées dans un fichier nommé shortcuts.metadata.json sous le dossier lakehouse dans git.
• Les opérations suivantes sont prises en charge et suivies automatiquement : ajout, suppression et mises à jour de raccourcis.
• Les opérations peuvent être effectuées directement dans l’interface utilisateur Fabric ou dans le référentiel Git en modifiant le fichier shortcuts.metadata.json.
• Les raccourcis avec des cibles internes (Raccourcis OneLake) sont automatiquement mis à jour pendant la synchronisation Git. Pour que le raccourci soit valide, ces références doivent être des cibles valides dans l’espace de travail. Si les cibles ne sont pas valides pour les raccourcis définis dans la section des tables Lakehouse, ces raccourcis sont déplacés dans la section Unidentified jusqu'à ce que les références soient résolues.

Lorsque vous utilisez des pipelines de déploiement avec Lakehouse, les métadonnées des raccourcis OneLake sont déployées au travers des étapes du pipeline. Les fonctionnalités suivantes sont disponibles pour les pipelines de déploiement :

• Les définitions de raccourcis sont synchronisées entre les étapes des pipelines de déploiement.
• Les raccourcis avec des cibles externes (ADLS Gen2, S3, etc.) sont identiques à tous les stades après le déploiement.
• Les raccourcis avec des cibles internes (Raccourcis OneLake) dans le même espace de travail sont automatiquement remappés à travers les étapes. Les raccourcis qui ciblent l’entrepôt de données et les modèles sémantiques ne sont pas remappés pendant le déploiement. Les tables, dossiers et fichiers ne sont pas créés dans l’espace de travail cible. Pour que le raccourci soit valide, ces références doivent être créées dans l’espace de travail cible après le déploiement.
• Dans le scénario où le même raccourci doit cibler différents emplacements sur différentes étapes. Par exemple, dans Développement, pointez vers un dossier spécifique dans Amazon S3 et dans Production un autre dossier dans ADLS Gen2. L’approche recommandée consiste à utiliser des variables dans la définition de raccourci. Pour en savoir plus sur la bibliothèque de variables et comment la utiliser efficacement dans Microsoft Fabric, consultez l'article Qu'est-ce qu'une bibliothèque de variables ? (préversion). Une autre option est : après le déploiement, mettez à jour manuellement la définition de raccourci OneLake dans Lakehouse ou directement à l’aide des API OneLake.

Fonctionnalités des rôles d’accès aux données OneLake Security

• Les définitions de rôles d’accès aux données oneLake Security sont stockées dans un fichier nommé data-access-roles.json sous le dossier lakehouse dans git. Les modifications peuvent être apportées directement dans le référentiel Git en modifiant le data-access-roles.json fichier, puis en appliquant ces modifications à l’espace de travail.
• Les opérations suivantes sont prises en charge et suivies automatiquement : ajout, suppression et mises à jour des rôles d’accès aux données.
• Seuls les utilisateurs disposant de rôles d’administrateur ou de membre peuvent synchroniser les définitions de rôle de sécurité sur git.

Le tableau suivant décrit le comportement des rôles d’accès aux données de sécurité OneLake pendant les opérations de synchronisation et de pipeline de déploiement Git en fonction des configurations de l’espace de travail source et cible :

Contenu connexe

• Qu’est-ce que la gestion du cycle de vie dans Microsoft Fabric ?
• Tutoriel : Gestion du cycle de vie dans Fabric
• Introduction à l’intégration Git
• Présentation des pipelines de déploiement