Partager via

Copier des données Dataverse dans Azure SQL

Utilisez Azure Synapse Link pour connecter vos données Microsoft Dataverse à Azure Synapse Analytics pour explorer vos données et accélérer le temps d’insight. Cet article vous montre comment exécuter des pipelines Azure Synapse ou Azure Data Factory pour copier des données d’Azure Data Lake Storage Gen2 vers azure SQL Database avec une fonctionnalité de mise à jour incrémentielle activée dans Azure Synapse Link.

Note

Azure Synapse Link for Microsoft Dataverse était auparavant connu sous le nom Exporter vers le lac de données. Le service a été renommé à compter de mai 2021 et continuera à exporter des données vers Azure Data Lake ainsi qu'Azure Synapse Analytics. Ce modèle est un exemple de code. Nous vous encourageons à utiliser ce modèle comme conseils pour tester la fonctionnalité de récupération des données d’Azure Data Lake Storage Gen2 vers Azure SQL Database à l’aide du pipeline fourni.

Prerequisites

  1. Azure Synapse Link pour Dataverse. Ce guide part du principe que vous avez déjà rempli les conditions préalables à la création d’un lien Azure Synapse avec Azure Data Lake. Plus d’informations : Conditions préalables pour un lien Azure Synapse pour Dataverse avec azure Data Lake
  2. Créez un espace de travail Azure Synapse ou Azure Data Factory sous le même locataire Microsoft Entra que votre locataire Power Apps.
  3. Créez un lien Azure Synapse pour Dataverse avec la mise à jour de dossier incrémentielle activée pour définir l’intervalle de temps. Plus d’informations : Interroger et analyser les mises à jour incrémentielles
  4. Le fournisseur Microsoft.EventGrid doit être enregistré pour le déclencheur. Plus d’informations : portail Azure. Remarque : Si vous utilisez cette fonctionnalité dans Azure Synapse Analytics, vérifiez que votre abonnement est également inscrit auprès du fournisseur de ressources Data Factory. Sinon, vous obtenez une erreur indiquant que la création d’un « abonnement aux événements » a échoué.
  5. Créez une base de données Azure SQL avec la propriété Autoriser les services et ressources Azure à accéder à ce serveur activée. Plus d’informations : Que dois-je savoir lors de la configuration de ma base de données Azure SQL (PaaS) ?
  6. Créez et configurez un runtime d’intégration Azure. Plus d’informations : Créer un runtime d’intégration Azure - Azure Data Factory &Azure Synapse

Important

L’utilisation de ce modèle peut entraîner des coûts supplémentaires. Ces coûts sont liés à l’utilisation du pipeline d’espace de travail Azure Data Factory ou Synapse et sont facturés tous les mois. Le coût d’utilisation de pipelines dépend principalement de l’intervalle de temps pour la mise à jour incrémentielle et les volumes de données. Pour planifier et gérer le coût d’utilisation de cette fonctionnalité, accédez à : Surveiller les coûts au niveau du pipeline avec l’analyse des coûts

Il est important de prendre en compte ces coûts supplémentaires lors de la décision d’utiliser ce modèle, car ils ne sont pas facultatifs et doivent être payés pour continuer à utiliser cette fonctionnalité.

Utiliser le modèle de solution

  1. Accédez au portail Azure et ouvrez l’espace de travail Azure Synapse.
  2. Sélectionnez Intégrer>Parcourir la galerie.
  3. Sélectionnez Copier des données Dataverse dans Azure SQL à l’aide de Synapse Link dans la galerie d’intégration.

Configurer le modèle de solution

  1. Créez un service lié à Azure Data Lake Storage Gen2, qui est connecté à Dataverse à l’aide du type d’authentification approprié. Pour ce faire, sélectionnez Tester la connexion pour valider la connectivité, puis sélectionnez Créer.

  2. À l’instar des étapes précédentes, créez un service lié à Azure SQL Database où les données Dataverse seront synchronisées.

  3. Une fois les entrées configurées , sélectionnez Utiliser ce modèle. Utiliser ce modèle

  4. À présent, un déclencheur peut être ajouté pour automatiser ce pipeline, afin que le pipeline puisse toujours traiter les fichiers lorsque des mises à jour incrémentielles sont effectuées régulièrement. Accédez à Gérer le>déclencheur et créez un déclencheur à l’aide des propriétés suivantes :

    • Nom : entrez un nom pour le déclencheur, tel que triggerModelJson.
    • Type : événements de stockage.
    • Abonnement Azure : sélectionnez l’abonnement avec Azure Data Lake Storage Gen2.
    • Nom du compte de stockage : sélectionnez le stockage contenant des données Dataverse.
    • Nom du conteneur : sélectionnez le conteneur créé par Azure Synapse Link.
    • Le chemin d’accès de l’objet blob se termine par : /model.json
    • Événement : BLOB créé.
    • Ignorer les blobs vides : Oui.
    • Déclencheur de démarrage : activez le déclencheur de démarrage lors de la création.

    Créer un déclencheur

  5. Sélectionnez Continuer pour passer à l’écran suivant.

  6. Sur l’écran suivant, le déclencheur valide les fichiers correspondants. Sélectionnez OK pour créer le déclencheur.

  7. Associez le déclencheur à un pipeline. Accédez au pipeline importé précédemment, puis sélectionnez Ajouter un déclencheur>Nouveau/Modifier. Créez un déclencheur pour le pipeline.

  8. Sélectionnez le déclencheur à l’étape précédente, puis sélectionnez Continuer à passer à l’écran suivant où le déclencheur valide les fichiers correspondants.

  9. Sélectionnez Continuer pour passer à l’écran suivant.

  10. Dans la section Paramètre de lancement du déclencheur, entrez les paramètres ci-dessous, puis sélectionnez OK.

    • Conteneur : @split(triggerBody().folderPath,'/')[0]
    • Dossier : @split(triggerBody().folderPath,'/')[1]

  11. Après avoir associé le déclencheur au pipeline, sélectionnez Valider tout.

  12. Une fois la validation réussie, sélectionnez Publier tout. Sélectionner Publier tout

  13. Sélectionnez Publier pour publier toutes les modifications.

Ajouter un filtre d’abonnement aux événements

Pour garantir que le déclencheur s’active uniquement lorsque la création de model.json est terminée, les filtres avancés de l’abonnement aux événements du déclencheur doivent être mis à jour. Un événement est inscrit sur le compte de stockage la première fois que le déclencheur s’exécute.

  1. Une fois l’exécution du déclencheur terminée, accédez au compte de stockage >Événements>Abonnements aux Événements.

  2. Sélectionnez l’événement inscrit pour le déclencheur model.json. Abonnement aux événements

  3. Sélectionnez l’onglet Filtres , puis sélectionnez Ajouter un nouveau filtre. Ajouter un nouveau filtre

  4. Créez le filtre :

    • Clé : objet
    • Opérateur : La chaîne ne se termine pas par
    • Valeur : /blobs/model.json

  5. Supprimez le paramètre CopyBlob du tableau de valeursdata.api.

  6. Sélectionnez Enregistrer pour déployer le filtre supplémentaire. Enregistrer le filtre ajouté

Voir aussi

Blog : Annonce d’Azure Synapse Link pour Dataverse

  • Last updated on