Interroger et analyser les mises à jour incrémentielles avec Azure Synapse Link pour Dataverse

Les données Microsoft Dataverse (y compris les données des applications de finances et d’opérations Dynamics 365) peuvent changer en permanence lors de la création, de la mise à jour et de la suppression de transactions. Avec l’option de mise à jour incrémentielle, vous pouvez créer des pipelines de données incrémentiels qui appliquent ces modifications aux systèmes et aux bases de données en aval. Azure Synapse Lien pour Dataverse exporte des données incrémentielles dans des dossiers horodatés contenant des modifications de données à des intervalles de temps spécifiés par l’utilisateur.

Vous pouvez tirer parti de la fonctionnalité de mise à jour incrémentielle pour plusieurs scénarios :

• Mettre à jour un magasin de données ou un entrepôt de données en aval. Vous devrez peut-être appliquer les modifications de vos données Power Apps et Dynamics 365 dans un magasin de données en aval. La mise à jour incrémentielle est une fonctionnalité standard dans la plupart des outils de transformation de données tels qu’Azure Data Factory. Cependant, afin que la fonctionnalité de mise à jour incrémentielle fonctionne, vous devez identifier les enregistrements modifiés dans les tables source. La fonctionnalité de mise à jour incrémentielle fournit les données modifiées sous la forme d’un ensemble de fichiers, de sorte que vous n’avez pas besoin de détecter les modifications en comparant les images avant et après des tables.

• Analysez les modifications des grands ensembles de données. Si vous devez analyser des modifications dans des ensembles de données volumineux, la fonctionnalité de mise à jour incrémentielle fournit un flux continu de données par petits lots, de sorte que vous n’avez pas besoin de stocker toutes les données. Avec cette option, vous pouvez supprimer les données périmées et stagnantes pour économiser les coûts de stockage des données, ainsi que suivre les modifications de données pertinentes pour une période spécifiée par l’utilisateur.

Azure Synapse Link pour Dataverse offre également la possibilité d’exporter et de maintenir une réplique des tables dans votre stockage Azure Data Lake (Gen 2). Vous pouvez configurer Azure Synapse Link pour exporter des données incrémentielles en plus d’exporter un réplica de tables. Chaque configuration (connue sous le nom de profil « Synapse Link ») peut exporter des tables ou des données incrémentielles. Bien que vous puissiez créer plusieurs profils, vous ne pouvez pas configurer à la fois les tables et les mises à jour incrémentielles au sein d’un même profil.

Conditions préalables

Ce guide suppose que vous avez déjà rempli les conditions préalables pour créer un Azure Synapse Link. Pour plus d’informations, voir Créer un Azure Synapse Link pour Dataverse avec Azure Data Lake

Créer un profil Synapse Link pour exporter des données incrémentielles

1. Connectez-vous à Power Apps, et sélectionnez vos environnements.

2. Dans le volet de navigation de gauche, sélectionnez Azure Synapse Link Si l’élément ne se trouve pas dans le volet latéral, sélectionnez …Plus, puis sélectionnez l’élément souhaité.

3. Dans la barre de commandes, sélectionnez + Nouveau lien.

4. Sélectionnez Abonnement, Groupe de ressources et Compte de stockage. Sélectionnez Suivant.

5. Ne sélectionnez pas l’option Se connecter à Azure Synapse workspace. Si vous choisissez cette option, la fonctionnalité de mise à jour incrémentielle est désactivée.

6. Ajoutez les tables à exporter. Si votre environnement Dataverse est lié aux applications de finances et d’opérations, vous pouvez également sélectionner des tables à partir des applications de finances et d’opérations.

7. Sélectionnez Avancé.

8. Activez Afficher les paramètres de configuration avancés et Activer la structure de dossiers pour la mise à jour incrémentielle.

9. Entrez l’intervalle de temps (en minutes) pour la fréquence à laquelle les mises à jour incrémentielles doivent être capturées, puis sélectionnez Enregistrer. 

   

Afficher le dossier incrémentiel dans le stockage Microsoft Azure

Lorsque vous créez un profil Synapse Link avec des données incrémentielles, le système effectue une copie initiale de toutes les tables et la stocke dans le premier dossier de mise à jour incrémentielle. Une fois la copie initiale créée, le système crée les dossiers de mise à jour suivants avec les données modifiées. S’il n’y a aucune modification dans l’une des tables sélectionnées, vous ne verrez pas les dossiers de données incrémentiels.

Pour afficher les dossiers de données incrémentiels dans le compte de stockage :

1. Sélectionnez le service Azure Synapse Link souhaité, puis sélectionnez Accéder à Azure Data Lake dans la barre de commandes.

2. Sélectionnez les Conteneurs en dessous de Stockage de données.

3. Sélectionnez dataverse-NomEnvironnement-NomUniqueOrganisation. Les dossiers de mises à jour incrémentielles sont nommés selon l’horodatage de création (« aaaa-MM-jj’T’HH:mm:ss.SSSz ») en UTC. Notez que la différence de temps entre les dossiers horodatés correspond à l’intervalle de temps que vous avez spécifié dans les paramètres avancés.

4. Dans chaque dossier horodaté, il y a des dossiers pour chaque table. Toutes les tables choisies n’ont peut-être pas été modifiées au cours de l’intervalle de temps et vous ne voyez que les dossiers correspondant aux tables dont les données ont été modifiées.

   

Consommer des données incrémentielles

Vous pouvez copier des données incrémentielles dans une base de données Azure SQL ou un entrepôt de données à l’aide d’outils d’intégration de données tels que Azure Data Factory ou de pipelines Azure Synapse Analytics. Nous fournissons un exemple de pipeline de données qui peut être utilisé à cette fin. Pour plus d’informations : Copier des données Dataverse dans Azure SQL.

Si vous êtes un client des applications de finances et d’opérations Dynamics 365 qui effectue une transition à partir de la fonctionnalité de flux de modification, vous pouvez utiliser les Exemples d’outils d’intégration de données fournis dans GitHub pour mettre à jour les pipelines de données existants utilisés avec la fonctionnalité de flux de modification.

Vous pouvez également créer votre propre pipeline de données pour consommer des données incrémentielles. Cependant, vous devez prendre en compte les meilleures pratiques suivantes lors de la conception de votre propre pipeline :

• Consommer des données à partir des dossiers horodatés précédents uniquement  : de cette façon, vous pouvez éviter les conflits de lecture-écriture avec le service Synapse Link, qui met à jour en continu les données dans le dossier actuel. Vous trouverez le dossier actuel en affichant le fichier Changelog/changelog.info. Ce fichier est un fichier en lecture seule qui contient une seule ligne avec le nom du dossier actuellement mis à jour. Vous ne devez pas mettre à jour ce fichier car cela peut provoquer une instabilité du système.
• Vous pouvez afficher le fichier model.json situé dans chaque dossier horodaté pour lire des métadonnées telles que les noms de colonne pour les données contenues dans les dossiers de table. Notez que chaque fichier model.json dans le dossier situé dans les dossiers horodatés contient des métadonnées pour toutes les tables, et pas seulement pour les tables contenues dans le dossier horodaté.
• Évitez d’utiliser d’autres fichiers journaux tels que le fichier Synapse.log. Ce fichier est utilisé à des fins internes et peut ne pas refléter des données exactes.
• Envisagez de supprimer les dossiers incrémentiels obsolètes de votre Azure Data Lake une fois le traitement terminé. Actuellement, Synapse Link maintient un bail sur ces fichiers dans le stockage Azure pour la récupération en cas de défaillance. Le système peut libérer le bail après un certain temps. Vous ne devez supprimer que les dossiers incrémentiels datant de plus de 24 heures pour éviter les conflits avec le fonctionnement du système.
• Vous ne devez pas modifier ou supprimer le « dossier actuel », c’est-à-dire le dossier contenu dans le fichier Changelog/changelog.info. Si vous modifiez ce fichier, le système interrompt le traitement des données.

Voir aussi

Qu’est-ce qu’Azure Synapse Link for Dataverse ?