Utiliser un flux de données dans un pipeline

Dans ce tutoriel, vous créez un pipeline pour déplacer OData d’une source Northwind vers une destination lakehouse et envoyer une notification par e-mail une fois le pipeline terminé.

Prérequis

Pour commencer, vous devez remplir les conditions préalables suivantes :

• Vérifiez que vous disposez d’un espace de travail avec Microsoft Fabric qui n’est pas Mon espace de travail par défaut.

Créer un Lakehouse

Pour commencer, vous devez d’abord créer un lakehouse. Un lakehouse est un lac de données optimisé pour l’analyse. Dans ce tutoriel, vous allez créer un lakehouse utilisé comme destination pour le flux de données.

1. Accédez à votre espace de travail avec Fabric.

   

2. Sélectionnez Lakehouse dans le menu Créer.

   

3. Entrez un nom pour le lakehouse.

4. Cliquez sur Créer.

Vous avez créé un lakehouse et vous pouvez maintenant configurer le flux de données.

Créer un flux de données

Un flux de données est une transformation de données réutilisable qui peut être utilisée dans un pipeline. Dans ce tutoriel, vous créez un flux de données qui obtient des données à partir d’une source OData et les écrit dans une destination lakehouse.

1. Accédez à votre espace de travail avec Fabric.

   

2. Sélectionnez Dataflow Gen2 dans le menu Créer.

   

3. Ingérez les données de la source OData.

   1. Sélectionnez Obtenir des données, puis sélectionnez Plus.

      

   2. Dans Choisir une source de données, recherchez OData, puis sélectionnez le connecteur OData.

      

   3. Entrez l’URL de la source OData. Pour ce tutoriel, utilisez l’exemple de service OData.

   4. Cliquez sur Suivant.

   5. Sélectionnez l’entité que vous souhaitez ingérer. Dans ce tutoriel, utilisez l’entité Orders.

      

   6. Cliquez sur Créer.

Maintenant que vous avez ingéré les données de la source OData, vous pouvez configurer la destination lakehouse.

Pour ingérer les données vers la destination lakehouse :

1. Sélectionnez Ajouter une destination de données.

2. Sélectionnez Lakehouse.

   

3. Configurez la connexion que vous souhaitez utiliser pour vous connecter au lakehouse. Les paramètres par défaut sont corrects.

4. Cliquez sur Suivant.

5. Accédez à l’espace de travail où vous avez créé le lakehouse.

6. Sélectionnez le lakehouse que vous avez créé à l’étape précédente.

   

7. Confirmez le nom de la table.

8. Cliquez sur Suivant.

9. Confirmez la méthode de mise à jour et sélectionnez Enregistrer les paramètres.

   

10. Publiez le flux de données.

    Important

    Lorsque le premier Dataflow Gen2 est créé dans un espace de travail, les éléments lakehouse et entrepôt sont approvisionnés, ainsi que leur point de terminaison d’analytique SQL et leurs modèles sémantiques associés. Ces éléments sont partagés par tous les flux de données de l’espace de travail et sont requis pour que Dataflow Gen2 fonctionne. Ils ne doivent pas être supprimés et ne doivent pas être utilisés directement par les utilisateurs. Les éléments sont un détail d’implémentation de Dataflow Gen2. Les éléments ne sont pas visibles dans l’espace de travail, mais peuvent être accessibles dans d’autres expériences telles que les expériences notebook, point de terminaison SQL, lakehouse et entrepôt. Vous pouvez reconnaître les éléments par leur préfixe dans le nom. Le préfixe des éléments est « DataflowsStaging ».

Maintenant que vous avez transféré les données vers la destination lakehouse, vous pouvez mettre en place votre pipeline.

Créer une chaîne de traitement

Un pipeline est un workflow qui peut être utilisé pour automatiser le traitement des données. Dans ce tutoriel, vous créez un pipeline qui exécute dataflow Gen2 que vous avez créé dans la procédure précédente.

1. Revenez à la page vue d’ensemble de l’espace de travail et sélectionnez Pipelines dans le menu Créer.

   

2. Indiquez un nom pour le pipeline.

3. Sélectionnez l’activité Flux de données.

   

4. Sélectionnez le flux de données que vous avez créé dans la procédure précédente dans la liste déroulante Flux de données sous Paramètres.

   

5. Ajoutez une activité Office 365 Outlook.

   

6. Configurez l’activité Office 365 Outlook pour envoyer une notification par e-mail.

   1. Authentifiez-vous avec votre compte Office 365.

   2. Sélectionnez l’adresse de messagerie à laquelle vous souhaitez envoyer la notification.

   3. Entrez l’Objet de l’e-mail.

   4. Entrez un Corps pour l’e-mail.

      

Exécuter et planifier le pipeline

Dans cette section, vous exécutez et planifiez le pipeline. Cette planification vous permet d’exécuter le pipeline à intervalle régulier.

1. Accédez à votre espace de travail.

2. Ouvrez le menu déroulant du pipeline que vous avez créé dans la procédure précédente, puis sélectionnez Planification.

   

3. Dans Exécution planifiée, sélectionnez Activé.

   

4. Indiquez la planification que vous souhaitez utiliser pour exécuter le pipeline.

   1. Répétez, par exemple, tous les jours ou toutes les minutes.
   2. Lorsque vous sélectionnez Quotidien, vous pouvez également sélectionner l’heure.
   3. Démarrer à une date spécifique.
   4. Se terminer à une date spécifique.
   5. Sélectionnez le fuseau horaire.

5. Sélectionnez Appliquer pour appliquer les modifications.

Vous avez maintenant créé un pipeline qui fonctionne selon un calendrier, rafraîchit les données dans la "lakehouse" et vous envoie une notification par courriel. Vous pouvez vérifier l’état du pipeline en accédant au hub de surveillance. Vous pouvez également vérifier l’état du pipeline en accédant au pipeline et en sélectionnant l’onglet Historique des exécutions dans le menu déroulant.

Contenu connexe

Cet exemple vous montre comment utiliser un flux de données dans un pipeline avec Data Factory dans Microsoft Fabric. Vous avez appris à :

Ensuite, avancez pour en savoir plus sur la surveillance des exécutions de votre pipeline.