Utiliser une base de données intermédiaire pour la migration de données

Cette architecture de référence met en évidence le rôle stratégique d’une base de données intermédiaire dans les migrations de données complexes et à grande échelle. Au lieu de transférer des données directement du système source vers l’environnement cible, le processus introduit une couche intermédiaire intermédiaire. Les données sont d’abord ingérées dans une base de données intermédiaire de migration temporaire, où elles subissent la transformation et la validation. Une fois ces étapes terminées, les données sont chargées dans Dataverse. Ce modèle améliore la qualité des données, garantit l’intégrité et réduit la probabilité d’erreurs pendant le processus de migration.

Diagramme d’architecture

Dataflow

• Extraire : les données sont extraites des systèmes sources.
• Étape : les données sont chargées dans la base de données intermédiaire source.
• Transformation : les scripts de migration traitent et transforment les données.
• Chargement : les données transformées sont chargées dans la base de données intermédiaire de destination.
• Valider : les modèles Excel sont utilisés pour valider les données de référence.
• Intégrer : Les outils de migration de données chargent des données dans Dataverse et des fichiers dans Azure Blob ou SharePoint.

Components

• Système source : source de données d’origine, qui peut inclure des bases de données héritées, des systèmes ERP ou des applications non-Microsoft.
• Base de données intermédiaire : magasin de données temporaire et intermédiaire utilisé pour ingérer, transformer et valider des données avant la migration finale. Cette couche dissocie les systèmes source et cible, ce qui permet de préparer les données contrôlées et auditables.
• Processus ETL/ELT : extraire, transformer et charger (ou extraire, charger, transformer) les pipelines qui déplacent les données de la source vers la base de données intermédiaire, appliquent des règles métier et les préparent pour Dataverse.
• Données de référence : données utilisées pour valider et enrichir les données de référence pendant la migration. Par exemple, les modèles de données de référence Excel.
• Dataverse : le système cible où les données nettoyées et validées sont finalement chargées pour une utilisation dans les applications Power Platform.
• Stockage de fichiers : stockage pour les données non structurées telles que les pièces jointes et les documents. Par exemple, Azure Blob Storage ou SharePoint.

Détails du scénario

Cette architecture fonctionne bien pour les scénarios où :

• Le système source contient de grands volumes de données ou de structures relationnelles complexes qui nécessitent une transformation avant l’ingestion en Dataverse.
• La migration directe n’est pas réalisable en raison de problèmes de qualité des données, d’incompatibilités de schéma ou de la nécessité de l’application des règles d’entreprise.
• Le processus de migration doit être auditable, reproductible et prendre en charge la restauration ou le retraitement de segments de données spécifiques.
• L’organisation nécessite une approche de migration progressive ou incrémentielle, par exemple lors d’une modernisation du système ou d’un projet de transition cloud.

Exemples de cas d’utilisation

• Migration des données client et transactionnelles d’un système ERP local vers Dataverse pour une utilisation dans Power Apps et Power Automate.
• Consolidation des données de plusieurs systèmes hérités dans un environnement Dataverse unifié.
• Exécution de l'enrichissement des données de préchargement, comme le géocodage des adresses ou la mise en correspondance des anciens codes avec de nouvelles taxonomies.

Principaux avantages

• Assurance qualité des données : la couche intermédiaire permet une validation et une transformation approfondies avant que les données atteignent l’environnement de production.
• Isolation des erreurs : les problèmes peuvent être identifiés et résolus dans l’environnement intermédiaire sans avoir d’impact sur les systèmes source ou cible.
• Scalabilité : prend en charge de grands volumes de données et de logique de transformation complexe.
• Auditabilité : permet le suivi de l’historique de traçabilité et de transformation des données.

Considérations

Ces considérations mettent en œuvre les piliers de Power Platform Well-Architected, un ensemble de principes directeurs qui améliorent la qualité d’une charge de travail. Pour en savoir plus, consultez la rubrique Microsoft Power Platform Well-Architected.

Reliability

• Concevez le processus de préparation et de migration pour qu’il soit résilient aux défaillances. Implémentez la logique de nouvelle tentative et le point de contrôle dans les pipelines ETL pour gérer les erreurs temporaires.
• Validez l’exhaustivité et l’intégrité des données avant de charger des données dans Dataverse pour éviter les migrations partielles ou endommagées.

Security

• Appliquez le contrôle d’accès en fonction du rôle (RBAC) pour restreindre l’accès à la base de données intermédiaire et aux outils de migration.
• Chiffrez les données au repos et en transit, en particulier lors de la gestion des données sensibles ou personnelles.
• Enregistrer et surveiller l’accès à l’environnement intermédiaire et à Dataverse pour soutenir les exigences d’audit et de conformité.

Efficacité des performances

• Optimisez la logique d’extraction et de transformation des données pour réduire le temps de traitement et la consommation des ressources.
• Utilisez le traitement par lots et le parallélisme, le cas échéant, pour gérer efficacement de grands volumes de données.
• Surveillez les métriques de performances de l’environnement intermédiaire et ajustez les ressources de calcul en fonction des besoins.

Excellence opérationnelle

• Documentez le processus de migration, y compris les mappages de données, les règles de transformation et la logique de validation.
• Implémentez des scripts de test et de validation automatisés pour garantir la répétabilité et réduire l’erreur humaine.
• Utilisez des outils d’orchestration comme Azure Data Factory pour gérer et surveiller le flux de travail de migration de bout en bout.

Étape suivante

L’article suivant décrit une approche éprouvée pour la gestion des migrations à grande échelle. L’un des principaux défis liés aux migrations complexes consiste à suivre les données chargées, à gérer les erreurs et à réessayer les enregistrements ayant échoué. Étant donné que ces migrations peuvent s’étendre sur des jours ou même des semaines, utilisez une stratégie par phases. Cette stratégie migre uniquement les données delta pendant le basculement de production final pour réduire les perturbations.