Partager via

Bonnes pratiques de migration pour Azure Data Factory vers Fabric Data Factory

Microsoft Fabric unifie les outils d’analyse de Microsoft en une seule plateforme SaaS, offrant des fonctionnalités robustes pour l’orchestration de flux de travail, le déplacement des données, la réplication et la transformation à grande échelle. Fabric Data Factory s’appuie sur Azure Data Factory (ADF), ce qui en fait un choix idéal pour moderniser les solutions d’intégration des données.

Ce guide explore les stratégies de migration, les considérations et les approches pour vous aider à effectuer une mise à niveau d’Azure Data Factory vers Fabric Data Factory.

Considérations avant la migration

Avant de migrer, évaluez ce qu’il faut réutiliser, traduire ou reconcevoir. Procédez comme suit pour garantir une transition fluide :

  1. Identifiez les modèles d’authentification, tels que l’identité managée ou l’authentification basée sur des clés.
  2. Passez en revue les exigences réseau, notamment les points de terminaison privés et les passerelles.
  3. Mapper la sémantique de planification et de déclencheur, et aligner les configurations de surveillance et d’alerte.
  4. Comparez les fonctionnalités ADF avec leurs équivalents Fabric, notant les lacunes telles que SSIS ou les flux de données.
  5. Définissez des cibles non fonctionnelles, telles que les contrats SLA, le débit, les limites de coût et l’observabilité.
  6. Créez un scénario de test avec des exemples de jeux de données et des sorties attendues pour comparer objectivement les exécutions ADF et Fabric.
  7. Planifiez la rotation des secrets, les conventions de nommage et la taxonomie de l'espace de travail pour améliorer votre stratégie actuelle d'intégration des données lors de la migration, et ne pas simplement la reproduire.

Une approche par phases avec des plans de validation côte à côte et de restauration réduit le risque tout en permettant une exécution plus rapide, une supervision centralisée et une intégration plus approfondie à Microsoft Fabric.

Pour les migrations volumineuses, envisagez d’utiliser des partenaires Microsoft certifiés ou votre équipe de compte Microsoft pour obtenir des conseils.

Connexions, services liés et jeux de données

Dans Azure Data Factory (ADF), les services liés et les jeux de données définissent des connexions et des structures de données. Dans Fabric, ceux-ci correspondent aux connexions et aux paramètres d’activité, avec un focus plus fort sur la réutilisation au niveau de l’espace de travail et l’identité managée. Voici comment adapter vos ressources ADF :

  1. Passez en revue la continuité du connecteur entre Azure Data Factory et Fabric pour confirmer la prise en charge de vos sources de données et récepteurs.
  2. Consolider les connexions redondantes pour simplifier la gestion.
  3. Adoptez l’identité managée pour une authentification sécurisée et cohérente.
  4. Normaliser le paramétrage des dossiers et des tables à l’aide de conventions d’affectation de noms claires, par exemple : conn-sql-warehouse-sales ou ds-lh-raw-orders.

Pour garantir la cohérence et la scalabilité, documentez entièrement chaque source et chaque destination avec :

  • Propriétaires
  • Niveaux de sensibilité
  • Paramètres de nouvelle tentative

Cette documentation aide à modéliser les opérations à travers les pipelines et à améliorer la gouvernance.

Runtimes d’intégration et OPDG, passerelle de réseau virtuel

Azure Data Factory (ADF) utilise des runtimes d’intégration (IR) pour définir des ressources de calcul pour le traitement des données. Voici quelques-uns des éléments suivants :

  • Les IR cloud pour le calcul hébergé par Azure.
  • IRs auto-hébergés (SHIR) pour les sources en réseau local ou privé.
  • IR SSIS pour SQL Server Integration Services.
  • Environnements d'exécution activés pour VNet pour une connectivité réseau sécurisée.

Dans Fabric, ces options sont mappées à l’exécution cloud, à la passerelle de données locale (OPDG) et aux options de passerelle de données de réseau virtuel . Voici comment planifier votre migration :

  1. Identifiez les pipelines qui s’appuient sur des SHIR et planifient leur mappage de passerelle et leur dimensionnement de débit.
  2. Validez dns, sortie, règles de pare-feu et authentification pour chaque connecteur.
  3. Simulez les scénarios de basculement pour garantir la fiabilité.
  4. Si possible, migrez vers des points de terminaison privés ou des passerelles de données de réseau virtuel pour simplifier les révisions de sécurité et réduire la surcharge opérationnelle.

Fabric simplifie la gestion des calculs à l’aide de ressources cloud au sein de vos capacités Fabric. Les E/SSIS ne sont pas disponibles dans Fabric. Pour la connectivité locale, utilisez la passerelle de données locale (OPDG). Pour sécuriser la connectivité réseau, utilisez la passerelle de données de réseau virtuel.

Lors de la migration :

  • Les E/S Azure de réseau public n’ont pas besoin d’être déplacées.
  • Recréer des SHIR en tant qu’OPDG.
  • Remplacez les IR Azure activés pour le VNet par des passerelles de données de réseau virtuel.

Différences d’activité de pipeline

Toutes les activités principales dans Azure Data Factory (ADF), telles que la copie, la recherche, le script de procédure stockée/SQL, le web et le flux de contrôle, ont des équivalents directs dans Fabric. Toutefois, il existe des différences dans les propriétés, la syntaxe d’expression et les limites. Lors de la migration, passez en revue les éléments suivants :

  • Réessayez les stratégies et les délais d’expiration.
  • Paramètres de pagination pour les sources REST.
  • Configurations de copie binaire ou tabulaire.
  • Modèles foreach et filtre.
  • Variables système utilisées dans le contenu dynamique.

Fabric fournit souvent des options plus natives pour certaines tâches. Par exemple, utilisez un script SQL dans un entrepôt au lieu d’un appel générique de procédure stockée pour améliorer la traçabilité et la surveillance. Pour simplifier la migration, centralisez les expressions courantes telles que les chemins d’accès, les dates et les URI spécifiques au locataire dans les paramètres de pipeline. Cela réduit la dérive et accélère les tests.

Pour plus d’informations, consultez Continuité des activités entre Azure Data Factory et Fabric.

Différences de flux de données

Les flux de données de mappage Azure Data Factory (ADF) ne sont pas directement mappés à Fabric. Au lieu de cela, vous allez généralement les retravailler à l’aide de l’une des options suivantes :

  • Dataflow Gen2 pour les transformations d’ensemble de lignes et les transformations à faible code régies.
  • Fabric Warehouse SQL pour les tâches ELT définies, telles que les opérations MERGE ou ELT proches des données.
  • Notebooks Spark pour les transformations avancées , la logique complexe ou le traitement à grande échelle.

Lors de la migration, validez les éléments suivants :

  • Types de données et gestion null.
  • Touches de substitution et dimensions à variation lente.
  • Modèles ELT idempotents, tels que le staging et MERGE, pour garantir des réexécutions prévisibles.

Pour les scénarios de migration, consultez Migrer de Dataflow Gen1 vers Dataflow Gen2.

Paramètres globaux dans Azure Data Factory

Fabric utilise des bibliothèques de variables au niveau de l’espace de travail pour définir des éléments Fabric constants. Lors de la migration vers Microsoft Fabric Data Factory, vous devez convertir vos paramètres globaux Azure Data Factory en bibliothèques de variables.

Pour obtenir des conseils de conversion complets, consultez Convertir des paramètres globaux ADF en bibliothèques de variables Fabric.

Offres partenaires de la Place de marché Azure

Les partenaires de migration approuvés, comme Bitwise Global, fournissent des outils pour faciliter votre migration. Ces outils peuvent :

  • Analysez votre environnement Azure Data Factory (ADF).
  • Générer les artefacts Fabric cibles.
  • Effectuez une analyse d’impact et un suivi de traçabilité.
  • Créez des plans de test automatisés.

Ces solutions sont particulièrement utiles si vous avez :

  • Centaines de pipelines.
  • Connecteurs variés.
  • Exigences strictes en matière de temps d’arrêt.

Les outils partenaires normalisent les règles de mappage, génèrent des rapports de conversion et exécutent des tests de validation parallèles. Cela vous permet de comparer le comptage des lignes, les valeurs de contrôle et la performance entre votre ancien et votre nouvel environnement. Même si vous n’utilisez pas de partenaire pour l’ensemble de la migration, leurs modules de découverte et d’évaluation peuvent vous aider à démarrer votre planification interne et à réduire les incertitudes.

Utiliser les outils IA

Les modèles de langage volumineux (LLMs) tels que Microsoft Copilot, ChatGPT et Claude peuvent accélérer les tâches de migration. Ces outils sont utiles pour :

  • Refactorisation des expressions.
  • Conversion de JSON Azure Data Factory (ADF) vers la syntaxe Fabric.
  • Écriture d’instructions MERGE.
  • Génération de modèles de connexion.
  • Rédaction de scripts de validation.

Vous pouvez également les utiliser pour créer de la documentation, comme des runbooks, des dictionnaires de données et des listes de contrôle de migration, ce qui garantit que les ingénieurs et les opérateurs restent alignés. Toutefois, conservez ces outils dans la boucle, et non en charge :

  • Évitez de coller des informations sensibles dans des outils IA.
  • Validez tous les éléments dans un environnement de développement.
  • Utilisez des tests automatisés tels que les nombres de lignes, les comparaisons de schémas et les vérifications de règle métier pour détecter des problèmes subtils, tels que les incompatibilités de type ou l’analyse de date spécifique aux paramètres régionaux.

Pour plus d’informations, consultez Utiliser Copilot dans Data Factory et l’IA dans Microsoft Fabric.

Chemins de migration

Les chemins de migration dépendent de vos ressources ADF et de leur parité des fonctionnalités. Les options sont les suivantes :

Contenu connexe

Comparer Azure Data Factory à Data Factory dans Fabric

  • Last updated on