Partager via

Découvrez comment créer un travail de copie dans Data Factory pour Microsoft Fabric

Le travail de copie dans Data Factory facilite le déplacement des données de votre source vers votre destination sans créer de pipeline. Vous pouvez configurer des transferts de données à l’aide de modèles intégrés pour la copie par lots et incrémentielle, et copier une seule fois ou selon une planification. Suivez les étapes décrites dans cet article pour commencer à copier vos données à partir d’une base de données ou d’un stockage.

Conseil / Astuce

Consultez la liste de tous les connecteurs pris en charge pour le travail de copie ici.

Créer un travail de copie pour ingérer des données à partir d’une base de données

Procédez comme suit pour configurer un travail de copie qui déplace les données d’une base de données :

  1. Créer un espace de travail ou utiliser un espace de travail existant.

  2. Sélectionnez + Nouvel élément, choisissez l’icône Copier la tâche, nommez votre tâche de copie, puis sélectionnez Créer.

    Capture d’écran montrant où accéder à la page d’accueil de Data Factory et créer un travail de copie.

  3. Choisissez la base de données à partir de laquelle copier des données. Dans cet exemple, nous utilisons Azure SQL DB.

    Capture d’écran montrant où choisir une source de données pour le travail de copie.

  4. Pour Azure SQL DB, entrez le chemin d’accès et les informations d’identification de votre serveur. Vous pouvez copier des données en toute sécurité dans un environnement de réseau virtuel à l’aide d’une passerelle de réseau virtuel ou locale. Pour les autres bases de données, les détails de connexion varient.

    Capture d’écran montrant où entrer les informations d’identification.

  5. Sélectionnez les tables et colonnes à copier. Utilisez la zone de recherche pour identifier des tables et des colonnes spécifiques que vous souhaitez copier.

    Capture d’écran montrant où sélectionner des tables et des colonnes pour le travail de copie.

  6. Sélectionnez votre magasin de destination. Dans cet exemple, nous utilisons une autre base de données Azure SQL.

    Capture d’écran montrant où sélectionner le magasin de destination pour le travail de copie.

  7. (Facultatif) Choisissez la méthode Update pour déterminer la façon dont les données sont écrites dans votre destination. Si vous sélectionnez Fusionner, sélectionnez les colonnes clés qui identifient chaque ligne.

    Capture d’écran montrant où mettre à jour la méthode.

    Capture d’écran montrant comment mettre à jour la méthode.

  8. (Facultatif) Configurez le mappage de table ou de colonne pour renommer des tables ou des colonnes dans la destination, ou appliquez des conversions de type de données. Par défaut, les données sont copiées avec le même nom de table, le nom de colonne et le type de données que la source.

    Capture d’écran montrant où spécifier des mappages de tables.

    Capture d’écran montrant où spécifier des mappages de colonnes.

  9. Choisissez un mode de copie : copie complète des données ou copie incrémentielle. Dans cet exemple, nous utilisons la copie incrémentielle. Choisissez une colonne incrémentielle pour chaque table pour suivre les lignes qui ont changé. Vous pouvez utiliser le bouton d’aperçu pour rechercher la colonne droite.

    Remarque

    Lorsque vous choisissez le mode de copie incrémentielle, le travail de copie effectue initialement une charge complète et effectue des copies incrémentielles dans les prochaines exécutions.

    Capture d'écran montrant où sélectionner le mode de travail de copie.

  10. Passez en revue le résumé du travail, sélectionnez l’option d’exécution à exécuter une seule fois ou selon une planification, puis sélectionnez Enregistrer + Exécuter.

    Capture d’écran montrant où vérifier et enregistrer le travail de copie nouvellement créé.

  11. Votre travail de copie démarre immédiatement et vous pouvez suivre l’état du travail à partir du panneau d’analyse inline qui contient des informations, notamment le nombre de lignes et la durée de copie pour chaque table. Pour en savoir plus sur comment surveiller une tâche de copie

    Capture d’écran montrant le panneau travail de copie dans lequel vous pouvez surveiller l’historique d’exécution.

  12. Vous pouvez exécuter votre travail de copie chaque fois que vous le souhaitez, même s’il est défini pour s’exécuter selon une planification. Sélectionnez simplement le bouton Exécuter à n'importe quel moment, et le travail de copie transfère uniquement les données modifiées depuis la dernière exécution.

  13. Vous pouvez également modifier votre travail de copie à tout moment, notamment ajouter ou supprimer des tables et des colonnes à copier, configurer la planification ou ajuster les paramètres avancés. Certaines modifications, telles que la mise à jour de la colonne incrémentielle, réinitialisent la copie incrémentielle pour démarrer à partir d’une charge complète initiale lors de la prochaine exécution.

    Capture d’écran montrant comment modifier le travail de copie.

Créer un travail de copie pour ingérer des fichiers à partir du stockage

Procédez comme suit pour configurer un travail de copie qui déplace les données à partir du stockage de fichiers :

  1. Créer un espace de travail ou utiliser un espace de travail existant.

  2. Sélectionnez + Nouvel élément, choisissez l’icône Copier la tâche, nommez votre tâche de copie, puis sélectionnez Créer.

    Capture d’écran montrant où accéder à la page d’accueil de Data Factory et créer un travail de copie.

  3. Sélectionnez les magasins de données à partir desquels vous souhaitez copier les données. Dans cet exemple, nous avons utilisé Azure Data Lake Storage Gen2.

    Capture d’écran montrant où choisir une source de stockage pour le travail de copie.

  4. Pour vous connecter à Azure Data Lake Storage Gen2, entrez votre URL de stockage et vos informations d’identification pour vous connecter à Azure Data Lake Storage Gen2. Pour les autres magasins de données, les détails de connexion varient. Vous pouvez copier des données en toute sécurité dans un environnement de réseau virtuel à l’aide d’une passerelle de réseau virtuel ou locale.

    Capture d’écran montrant où entrer des informations d’identification pour le magasin de stockage.

  5. Sélectionnez le dossier ou les fichiers à copier. Vous pouvez choisir de copier un dossier entier avec tous ses fichiers ou un seul fichier.

    Conseil / Astuce

    Le schéma agnostique (copie binaire) copie des fichiers dans un autre magasin de données sans analyser le schéma. Cela peut améliorer considérablement les performances de copie.

    Capture d’écran montrant où sélectionner un dossier pour le travail de copie.

  6. Sélectionnez votre magasin de destination. Dans cet exemple, nous avons choisi Lakehouse.

    Capture d’écran montrant où sélectionner le magasin de destination de stockage pour le travail de copie.

  7. Sélectionnez le chemin du dossier dans votre stockage de destination. Choisissez Conserver la hiérarchie pour conserver la même structure de dossiers que la source ou aplatir la hiérarchie pour placer tous les fichiers dans un seul dossier.

    Capture d’écran montrant comment sélectionner le dossier de destination.

  8. Choisissez un mode de copie : copie complète des données ou copie incrémentielle. Dans cet exemple, nous utilisons la copie incrémentielle afin que le travail de copie copie tous les fichiers lors de la première exécution, puis copiez uniquement les fichiers nouveaux ou mis à jour dans les prochaines exécutions.

    Capture d’écran montrant où sélectionner le mode de copie de tâches pour le stockage.

  9. Passez en revue le résumé du travail, sélectionnez l’option d’exécution à exécuter une seule fois ou selon une planification, puis sélectionnez Enregistrer + Exécuter.

    Capture d’écran montrant où passer en revue et enregistrer le travail de copie nouvellement créé pour le stockage.

  10. Votre travail de copie démarre immédiatement et vous pouvez suivre l’état du travail à partir du panneau d’analyse inline qui contient des informations, notamment le nombre de lignes et la durée de copie pour chaque table. Pour en savoir plus sur comment surveiller une tâche de copie

    Capture d’écran montrant le panneau de la tâche de copie où vous pouvez surveiller l’historique des exécutions pour déplacer des données entre les stockages.

  11. Vous pouvez réexécuter votre travail de copie chaque fois que vous le souhaitez, même s’il est défini pour s’exécuter selon une planification. Sélectionnez simplement le bouton Exécuter à n'importe quel moment, et le travail de copie transfère uniquement les données modifiées depuis la dernière exécution.

  12. Vous pouvez également modifier votre travail de copie à tout moment, notamment la configuration de la planification ou l’ajustement des paramètres avancés.

    Capture d’écran montrant comment modifier le travail de copie pour un espace de stockage.

Limitations connues

  • Actuellement, le mode de copie incrémentielle fonctionne uniquement avec certaines sources. Pour plus d’informations, consultez les connecteurs pris en charge pour la tâche de copie.
  • La suppression de ligne ne peut pas être suivie à partir d'un magasin source.
  • Lors de la copie de fichiers vers des emplacements de stockage, les fichiers vides sont créés à la destination si aucune donnée n’est chargée à partir de la source.

Contenu connexe

  • Last updated on