Démarrage rapide : Ingérer des données à l’aide d’Azure Synapse Pipelines (préversion)

Le programme Microsoft Cloud Migration Factory (CMF) est conçu pour aider les clients à migrer vers Fabric. Le programme offre des ressources clavier pratiques sans coût pour le client. Ces ressources sont affectées pendant une période de 6 à 8 semaines, avec une étendue prédéfinie et acceptée. Les nominations des clients sont acceptées par l’équipe de compte Microsoft ou directement en envoyant une demande d’aide à l’équipe CMF.

Dans ce guide de démarrage rapide, vous allez apprendre à charger des données à partir d’une source de données dans un pool Azure Synapse Data Explorer.

Prerequisites

• Un abonnement Azure. Créez un compte Azure gratuit.

• Créez un pool Data Explorer en utilisant Synapse Studio ou le portail Azure

• Créez une base de données Data Explorer.

  1. Dans Synapse Studio, dans le volet de gauche, sélectionnez Données.

  2. Sélectionnez +(Ajouter une nouvelle ressource) >Groupe Data Explorer et utilisez les informations suivantes :

     Réglage	Valeur suggérée	Descriptif
     Nom du pool	contosodataexplorer	Nom du pool Data Explorer à utiliser
     Nom	TestDatabase	Ce nom de base de données doit être unique dans le cluster.
     Période de conservation par défaut	365	Intervalle de temps (en jours) pendant lequel vous avez la garantie d’avoir les données à disposition pour les interroger. Cet intervalle se mesure à partir du moment où les données sont ingérées.
     Période de cache par défaut	31	Intervalle de temps (en jours) pendant lequel les données fréquemment interrogées restent disponibles dans le stockage SSD ou la RAM, plutôt que dans un stockage à plus long terme.

  3. Sélectionnez Créer pour créer la base de données. La création prend généralement moins d’une minute.

• Créer une table

  1. Dans Synapse Studio, dans le volet de gauche, sélectionnez Développer.
  2. Sous Scripts KQL, sélectionnez + (Ajouter une nouvelle ressource) >Script KQL. Dans le volet de droite, vous pouvez nommer votre script.
  3. Dans le menu Connecter à, sélectionnez contosodataexplorer.
  4. Dans le menu Utiliser la base de données, sélectionnez TestDatabase.
  5. Collez la commande suivante, puis sélectionnez Exécuter pour créer la table.

  .create table StormEvents (StartTime: datetime, EndTime: datetime, EpisodeId: int, EventId: int, State: string, EventType: string, InjuriesDirect: int, InjuriesIndirect: int, DeathsDirect: int, DeathsIndirect: int, DamageProperty: int, DamageCrops: int, Source: string, BeginLocation: string, EndLocation: string, BeginLat: real, BeginLon: real, EndLat: real, EndLon: real, EpisodeNarrative: string, EventNarrative: string, StormSummary: dynamic)
  

  Conseil / Astuce

  Vérifiez que la table a bien été créée. Dans le volet gauche, sélectionnez Données, sélectionnez le menu Plus de contosodataexplorer, puis cliquez sur Actualiser. Sous contosodataexplorer, développez Tables et assurez-vous que la table StormEvents apparaît dans la liste.

• Obtenez les points de terminaison de requête et d’ingestion des données. Vous aurez besoin du point de terminaison de requête pour configurer votre service lié.

  1. Dans Synapse Studio, dans le volet de gauche, sélectionnez Gérer>Pools Data Explorer.

  2. Sélectionnez le pool Data Explorer que vous souhaitez utiliser pour afficher ses détails.

     

  3. Notez les points de terminaison de requête et d’ingestion des données. Utilisez le point de terminaison de requête comme cluster lors de la configuration des connexions à votre pool Data Explorer. Lors de la configuration des kits SDK pour l’ingestion de données, utilisez le point de terminaison d’ingestion des données.

     

Créer un service lié

Dans Azure Synapse Analytics, un service lié est l’endroit où vous définissez vos informations de connexion à d’autres services. Dans cette section, vous allez créer un service lié pour Azure Data Explorer.

1. Dans Synapse Studio, dans le volet gauche, sélectionnez Gérer les>services liés.

2. Sélectionnez + Nouveau.

   

3. Sélectionnez le service Azure Data Explorer dans la galerie, puis sélectionnez Continuer.

   

4. Dans la page Nouveaux services liés, utilisez les informations suivantes :

   Réglage	Valeur suggérée	Descriptif
   Nom	contosodataexplorerlinkedservice	Nom du nouveau service lié Azure Data Explorer.
   Méthode d'authentification	Identité gérée	Méthode d’authentification pour le nouveau service.
   Méthode de sélection de compte	Entrer manuellement	Méthode permettant de spécifier le point de terminaison de requête.
   Point de terminaison	https://contosodataexplorer.contosoanalytics.dev.kusto.windows.net	Point de terminaison de requête que vous avez noté précédemment.
   Base de données	TestDatabase	Base de données dans laquelle vous souhaitez ingérer des données.

   

5. Sélectionnez Tester la connexion pour vérifier les paramètres, puis sélectionnez Créer.

Créer un pipeline pour ingérer des données

Un pipeline contient le flux logique pour une exécution d’un ensemble d’activités. Dans cette section, vous allez créer un pipeline contenant une activité de copie qui ingère des données de votre source préférée dans un pool Data Explorer.

1. Dans Synapse Studio, dans le volet gauche, sélectionnez Intégrer.

2. Sélectionnez +>Pipeline. Dans le volet de droite, vous pouvez nommer votre pipeline.

   

3. Sous Activités>Déplacer et transformer, faites glisser Copier des données sur le canevas du pipeline.

4. Sélectionnez l’activité de copie et accédez à l’onglet Source . Sélectionnez ou créez un jeu de données source comme source à partir duquel copier des données.

5. Accédez à l’onglet Récepteur . Sélectionnez Nouveau pour créer un jeu de données récepteur.

   

6. Sélectionnez l'ensemble de données Azure Data Explorer dans la galerie, puis cliquez sur Continuer.

7. Dans le volet Définir les propriétés , utilisez les informations suivantes, puis sélectionnez OK.

   Réglage	Valeur suggérée	Descriptif
   Nom	AzureDataExplorerTable	Nom du nouveau pipeline.
   Service lié	contosodataexplorerlinkedservice	Service lié que vous avez créé précédemment.
   Table	StormEvents	Table que vous avez créée précédemment.

   

8. Pour valider le pipeline, sélectionnez Valider dans la barre d’outils. Vous voyez le résultat de la validation du pipeline sur le côté droit de la page.

Déboguer et publier le pipeline

Une fois que vous avez terminé de configurer votre pipeline, vous pouvez exécuter une exécution de débogage avant de publier vos artefacts pour vérifier que tout est correct.

1. Sélectionnez Déboguer dans la barre d’outils. L’état d’exécution du pipeline apparaît dans l’onglet Sortie au bas de la fenêtre.

2. Une fois l’exécution du pipeline réussie, dans la barre d’outils supérieure, sélectionnez Publier tout. Cette action publie des entités (jeux de données et pipelines) que vous avez créées dans le service Synapse Analytics.

3. Patientez jusqu’à voir le message Publication réussie. Pour afficher les messages de notification, sélectionnez le bouton de cloche en haut à droite.

Déclencher et surveiller le pipeline

Dans cette section, vous déclenchez manuellement le flux de travail publié à l’étape précédente.

1. Sélectionnez Ajouter déclencheur dans la barre d’outils, puis Déclencher maintenant. Dans la page Exécution du pipeline, sélectionnez OK.

2. Accédez à l’onglet Moniteur situé dans la barre latérale gauche. Vous voyez un pipeline qui est déclenché par un déclencheur manuel.

3. Une fois l’exécution du pipeline terminée, sélectionnez le lien sous la colonne Nom du pipeline pour afficher les détails de l’exécution de l’activité ou réexécuter le pipeline. Dans cet exemple, il n’y a qu’une seule activité, vous ne voyez donc qu’une seule entrée dans la liste.

4. Pour plus de détails sur l’opération de copie, sélectionnez le lien Détails (icône en forme de lunettes) dans la colonne Nom de l’activité. Vous pouvez suivre les informations détaillées comme le volume de données copiées à partir de la source dans le récepteur, le débit des données, les étapes d’exécution avec une durée correspondante et les configurations utilisées.

5. Pour revenir à l’affichage des exécutions du pipeline, sélectionnez le lien Toutes les exécutions de pipelines affiché en haut de la fenêtre. Sélectionnez Actualiser pour actualiser la liste.

6. Vérifiez que vos données sont correctement écrites dans le pool Data Explorer.

Étapes suivantes

• Analyser avec l’Explorateur de données
• Surveiller les pools de l’Explorateur de données