Partager via

Planification de la migration pour Azure Data Factory vers Fabric Data Factory

Microsoft Fabric réunit les outils d’analyse de Microsoft dans une plateforme SaaS unique. Il offre des fonctionnalités fortes pour l’orchestration de flux de travail, le déplacement des données, la réplication et la transformation à grande échelle. Fabric Data Factory fournit un environnement SaaS qui s’appuie sur Azure Data Factory (ADF) PaaS par le biais d’améliorations d’utilisation et de fonctionnalités supplémentaires, ce qui rend Fabric Data Factory la modernisation parfaite de vos solutions d’intégration de données existantes.

Ce guide vous montre des stratégies de migration, des considérations et des approches pour vous aider à passer d’Azure Data Factory à Fabric Data Factory.

Pourquoi migrer ?

La migration de pipelines ADF et Synapse vers Fabric Data Factory est plus qu’un lift-and-shift : il est possible de simplifier la gouvernance, de normaliser les modèles et d’utiliser les fonctionnalités avancées de Fabric Data Factory pour améliorer votre stratégie d’intégration des données.

Fabric offre de nombreuses nouvelles fonctionnalités, notamment :

Pour obtenir une comparaison détaillée, consultez le guide de comparaison Azure Data Factory et Fabric Data Factory.

Considérations avant la migration

La migration d’Azure Data Factory (ADF) vers Fabric Data Factory implique plusieurs considérations clés. Voici ce qu’il faut garder à l’esprit :

  • Pipelines complexes et connecteurs personnalisés : ceux-ci peuvent nécessiter des ajustements manuels pour fonctionner dans le nouvel environnement.
  • Runtimes d’intégration : les runtimes hérités peuvent avoir besoin de refactorisation pour s’aligner sur l’architecture de Fabric.
  • Différences de flux de données : les flux de données de mappage ADF utilisent des transformations basées sur Spark, tandis que Fabric Dataflow Gen2 fonctionne différemment et peut avoir besoin de retravailler.
  • Sécurité et mise en réseau : passez en revue l’identité managée, les points de terminaison privés et les configurations de passerelle. Retestez ces paramètres et mettez à jour les autorisations si nécessaire.
  • Test et validation : vérifiez que les pipelines migrés produisent des sorties précises, répondent aux contrats SLA et respectent les exigences. Utilisez des harnais de test robustes pour les comparaisons objective.

Pour relever ces défis, suivez les bonnes pratiques suivantes :

  1. Effectuez un inventaire complet des biens. Identifiez les doublons, les éléments inutilisés et les dépendances.
  2. Utilisez l’outil d’évaluation de la migration et passez en revue la parité des connecteurs et la parité d’activité pour identifier et mapper les lacunes des fonctionnalités au début.
  3. Envisagez d’utiliser des scripts automatisés et des outils partenaires pour la migration en bloc.
  4. Conservez une documentation détaillée et des plans de retour arrière.
  5. Engagez les parties prenantes tout au long du processus.
  6. Exécutez des migrations incrémentielles pour réduire les risques.
  7. Employez des scripts de validation alimentés par l'IA pour accélérer la résolution des problèmes.

Chemins de migration

Les chemins de migration dépendent de vos ressources ADF et de leur parité des fonctionnalités. Les options sont les suivantes :

Éléments Azure Data Factory dans votre espace de travail Fabric

L’ajout d’une fonction ADF existante à votre espace de travail Fabric vous offre une visibilité et une gouvernance immédiates lors de la migration incrémentielle. Il est idéal pour la découverte, l’attribution de propriété et les tests côte à côte, car les équipes peuvent voir les pipelines, les organiser dans des espaces de travail Fabric et planifier les basculements par domaine. Utilisez les éléments Azure Data Factory pour cataloguer ce qui existe, hiérarchiser d’abord les pipelines à valeur la plus élevée/à risque le plus faible et établir des conventions (nommage, dossiers, réutilisation de connexion) que vos scripts de conversion et outils partenaires peuvent suivre de manière cohérente.

Le montage dans Fabric est obtenu via le type d’élément Azure Data Factory : apportez votre instance Azure Data Factory à Fabric.

Utiliser l’outil de mise à niveau PowerShell

Microsoft propose un utilitaire de migration ADF-to-Fabric dans le module Azure PowerShell. Lorsque vous utilisez le module, vous pouvez traduire un sous-ensemble volumineux de JSON ADF (pipelines, activités, paramètres) en définitions natives fabric, ce qui vous donne un point de départ rapide. Attendez-vous à une couverture forte pour les modèles de procédure stockée/copie/recherche et le flux de contrôle, avec un suivi manuel pour les cas de périphérie (connecteurs personnalisés, expressions complexes, certaines constructions de flux de données). Traitez la sortie du script comme une structure : exécutez-la par lots, appliquez des vérifications de style de code/lint, puis attachez des connexions et corrigez toutes les incompatibilités de propriété. Intégrez ceci dans une exécution CI reproductible pour que vous puissiez répéter et apprendre, au lieu d'éditer à la main chaque pipeline.

Pour obtenir un guide complet, consultez la migration de PowerShell. Pour obtenir un didacticiel détaillé avec des exemples, consultez le didacticiel de migration PowerShell.

Migration manuelle

La migration manuelle est nécessaire pour les pipelines complexes avec une faible parité, mais il est également possible de moderniser votre architecture et d’adopter les fonctionnalités intégrées de Fabric. Cette voie nécessite une planification et un développement plus initials, mais peut générer des avantages à long terme en termes de facilité de maintenance, de performances et de coût.

Pour migrer efficacement, tenez compte des étapes suivantes :

  1. Évaluer et inventorier : cataloguer toutes les ressources ADF, notamment les pipelines, les jeux de données, les services liés et les runtimes d’intégration. Identifiez les dépendances et les modèles d’utilisation.
  2. Identifiez les doublons et les éléments inutilisés : nettoyez les éléments inutilisés ou redondants dans ADF pour simplifier la migration et votre environnement d’intégration de données.
  3. Identifier les lacunes : utilisez l’outil d’évaluation de la migration et passez en revue la parité des connecteurs et la parité d’activité pour identifier les écarts entre vos pipelines ADF et vos pipelines Fabric, et planifiez des alternatives.
  4. Passez en revue les nouvelles fonctionnalités : utilisez notre guide de décision de déplacement des données et le guide de décision d’intégration des données pour déterminer les outils Fabric qui conviennent le mieux à vos besoins.
  5. Plan : passez en revue les meilleures pratiques de migration pour chacun de vos éléments et des instructions pour tirer le meilleur parti des fonctionnalités améliorées de Fabric.
  6. Transition ADF : envisagez d’ajouter un élément Azure Data Factory dans Microsoft Fabric en tant que première étape de la migration, ce qui permet une transition progressive dans une plateforme unique.
  7. Hiérarchiser : classer vos pipelines en fonction de l’impact métier, de la complexité et de la facilité de migration.
  8. Automatisez l’endroit où vous pouvez : pour tous les pipelines de faible complexité, envisagez d’utiliser l’outil de mise à niveau PowerShell pour automatiser une migration.
  9. Considérez les outils : Utilisez ces outils pour faciliter la récréation :
  10. Migration manuelle : Pour les scénarios non pris en charge par d’autres méthodes de migration, régénérez-les dans Fabric :
    1. Recréer des connexions : configurer des connexions dans Fabric pour remplacer les services liés dans ADF
    2. Recréez vos activités : configurez vos activités dans vos pipelines, en remplaçant les activités non prises en charge par des alternatives Fabric ou à l’aide de l’activité de pipeline Invoke
    3. Planifier et définir des déclencheurs : reconstruire des planifications et des déclencheurs d’événements dans Fabric pour qu’ils correspondent à vos planifications ADF
  11. Testez soigneusement : Validation des pipelines migrés par rapport aux sorties attendues, aux benchmarks de performances et aux exigences de conformité.

Exemples de scénarios de migration

Le passage d’ADF à Fabric peut impliquer différentes stratégies en fonction de votre cas d’usage. Cette section décrit les chemins de migration courants et les considérations à prendre en compte pour vous aider à planifier efficacement.

Scénario 1 : Pipelines ADF et flux de données

Moderniser votre environnement ETL en déplaçant des pipelines et des flux de données vers Fabric. Planifiez ces éléments :

  • Recréer des services liés en tant que connexions
  • Définir les propriétés du jeu de données inline dans les activités de pipeline
  • Remplacez SHIR (runtimes d’intégration auto-hébergés) par des OPDG (passerelles de données locales) et IR de réseau virtuel par des passerelles de données de réseau virtuel
  • Régénérer les activités ADF non prises en charge à l’aide d’alternatives Fabric ou de l’activité de pipeline Invoke. Les activités non prises en charge sont les suivantes :
    • Data Lake Analytics (U-SQL), un service Azure déconseillé
    • Activité de validation, qui peut être reconstruite à l’aide des métadonnées Get, des boucles de pipeline et des activités If
    • Power Query, qui est entièrement intégré à Fabric en tant que dataflows où le code M peut être réutilisé
    • Les activités Notebook, Jar et Python peuvent être remplacées par l’activité Databricks dans Fabric
    • Les activités Hive, Pig, MapReduce, Spark et Streaming peuvent être remplacées par l’activité HDInsight dans Fabric

Par exemple, voici la page de configuration du jeu de données ADF, avec son chemin d’accès de fichier et ses paramètres de compression :

Capture d’écran de la page de configuration du jeu de données ADF.

Voici une activité de copie pour Data Factory dans Fabric, où la compression et le chemin d’accès aux fichiers sont inclus dans l’activité :

Capture d’écran de la configuration de compression de l’activité copie Fabric.

Scénario 2 : ADF avec CDC, SSIS et Airflow

Recréez la capture de données modifiées en tant qu’éléments de travail de copie . Pour Airflow, copiez vos DAGs dans l’offre Apache Airflow de Fabric. Exécutez des packages SSIS à l’aide de pipelines ADF et appelez-les à partir de Fabric.

Scénario 3 : Migration PowerShell

Utilisez le module PowerShell Microsoft.FabricPipelineUpgrade pour migrer vos pipelines Azure Data Factory vers Fabric. Cette approche fonctionne bien pour automatiser la migration des pipelines, des activités et des paramètres à grande échelle. Le module PowerShell traduit un grand sous-ensemble de JSON ADF en définitions natives fabric, fournissant un point de départ rapide pour la migration.

Pour obtenir des instructions détaillées, consultez le didacticiel de migration PowerShell.

Scénario 4 : Éléments ADF dans un espace de travail Fabric

Vous pouvez ajouter une usine ADF entière en tant qu'élément natif dans un espace de travail Fabric. Cela vous permet de gérer les fabriques ADF en même temps que les artefacts Fabric au sein de la même interface. L’interface utilisateur ADF reste entièrement accessible, ce qui vous permet de surveiller, de gérer et de modifier vos éléments de fabrique ADF directement à partir de l’espace de travail Fabric. Toutefois, l’exécution de pipelines, d’activités et de runtimes d’intégration se produit toujours dans vos ressources Azure.

Cette fonctionnalité est utile pour les organisations qui passent à Fabric, car elle fournit une vue unifiée des ressources ADF et Fabric, ce qui simplifie la gestion et la planification de la migration.

Pour plus d’informations, consultez Bring your Azure Data Factory into Fabric.

Contenu connexe

  • Last updated on