Démarrage rapide : Importer des données en un clic (version d'avant-première)

Le programme Microsoft Cloud Migration Factory (CMF) est conçu pour aider les clients à migrer vers Fabric. Le programme offre des ressources clavier pratiques sans coût pour le client. Ces ressources sont affectées pendant une période de 6 à 8 semaines, avec une étendue prédéfinie et acceptée. Les nominations des clients sont acceptées par l’équipe de compte Microsoft ou directement en envoyant une demande d’aide à l’équipe CMF.

L’ingestion en un clic facilite le processus d’ingestion des données, rapide et intuitif. L’ingestion en un clic vous permet de commencer rapidement à ingérer des données, de créer des tables de base de données, des structures de mappage. Sélectionnez des données à partir de différents types de sources dans différents formats de données, soit en tant que processus d’ingestion unique ou continu.

Les fonctionnalités suivantes rendent l’ingestion en un clic si utile :

• Expérience intuitive guidée par l’Assistant d’ingestion
• Ingérer des données en quelques minutes
• Ingérer des données provenant de différents types de sources : fichier local, objets blob et conteneurs (jusqu’à 10 000 objets blob)
• Ingérer des données dans différents formats
• Ingérer des données dans des tables nouvelles ou existantes
• Le mappage de table et le schéma sont suggérés pour vous et faciles à modifier

L’ingestion en un clic est particulièrement utile lors de l’ingestion de données pour la première fois, ou lorsque le schéma de vos données n’est pas familier avec vous.

Prerequisites

• Un abonnement Azure. Créez un compte Azure gratuit.

• Créez un pool Data Explorer en utilisant Synapse Studio ou le portail Azure

• Créez une base de données Data Explorer.

  1. Dans Synapse Studio, dans le volet de gauche, sélectionnez Données.

  2. Sélectionnez +(Ajouter une nouvelle ressource) >Groupe Data Explorer et utilisez les informations suivantes :

     Réglage	Valeur suggérée	Descriptif
     Nom du pool	contosodataexplorer	Nom du pool Data Explorer à utiliser
     Nom	TestDatabase	Ce nom de base de données doit être unique dans le cluster.
     Période de conservation par défaut	365	Intervalle de temps (en jours) pendant lequel vous avez la garantie d’avoir les données à disposition pour les interroger. Cet intervalle se mesure à partir du moment où les données sont ingérées.
     Période de cache par défaut	31	Intervalle de temps (en jours) pendant lequel les données fréquemment interrogées restent disponibles dans le stockage SSD ou la RAM, plutôt que dans un stockage à plus long terme.

  3. Sélectionnez Créer pour créer la base de données. La création prend généralement moins d’une minute.

• Créer une table

  1. Dans Synapse Studio, dans le volet de gauche, sélectionnez Développer.
  2. Sous Scripts KQL, sélectionnez + (Ajouter une nouvelle ressource) >Script KQL. Dans le volet de droite, vous pouvez nommer votre script.
  3. Dans le menu Connecter à, sélectionnez contosodataexplorer.
  4. Dans le menu Utiliser la base de données, sélectionnez TestDatabase.
  5. Collez la commande suivante, puis sélectionnez Exécuter pour créer la table.

  .create table StormEvents (StartTime: datetime, EndTime: datetime, EpisodeId: int, EventId: int, State: string, EventType: string, InjuriesDirect: int, InjuriesIndirect: int, DeathsDirect: int, DeathsIndirect: int, DamageProperty: int, DamageCrops: int, Source: string, BeginLocation: string, EndLocation: string, BeginLat: real, BeginLon: real, EndLat: real, EndLon: real, EpisodeNarrative: string, EventNarrative: string, StormSummary: dynamic)
  

  Conseil / Astuce

  Vérifiez que la table a bien été créée. Dans le volet gauche, sélectionnez Données, sélectionnez le menu Plus de contosodataexplorer, puis cliquez sur Actualiser. Sous contosodataexplorer, développez Tables et assurez-vous que la table StormEvents apparaît dans la liste.

Accéder à l’Assistant En un clic

L’Assistant Ingestion en un clic vous guide tout au long du processus d’ingestion en un clic.

• Pour accéder à l’assistant depuis Azure Synapse :

  1. Dans Synapse Studio, dans le volet de gauche, sélectionnez Données.

  2. Sous Bases de données de l’Explorateur de données, cliquez avec le bouton droit sur la base de données appropriée, puis sélectionnez Ouvrir dans Azure Data Explorer.

     

  3. Cliquez avec le bouton droit sur le pool approprié, puis sélectionnez Ingérer de nouvelles données.

• Pour accéder à l’assistant depuis le Portail Microsoft Azure :

  1. Dans le portail Azure, recherchez et sélectionnez l’espace de travail Synapse approprié.

  2. Sous pools Data Explorer, sélectionnez le pool approprié.

  3. Dans l’écran d’accueil bienvenue dans le pool Data Explorer , sélectionnez Ingérer de nouvelles données.

     

• Pour accéder à l’assistant à partir de l’interface Web d’Azure Data Explorer :

  1. Avant de commencer, procédez comme suit pour obtenir les points de terminaison de requête et d’ingestion des données.

     1. Dans Synapse Studio, dans le volet de gauche, sélectionnez Gérer>Pools Data Explorer.

     2. Sélectionnez le pool Data Explorer que vous souhaitez utiliser pour afficher ses détails.

        

     3. Notez les points de terminaison de requête et d’ingestion des données. Utilisez le point de terminaison de requête comme cluster lors de la configuration des connexions à votre pool Data Explorer. Lors de la configuration des kits SDK pour l’ingestion de données, utilisez le point de terminaison d’ingestion des données.

        

  2. Dans l’interface utilisateur web d’Azure Data Explorer, ajoutez une connexion au point de terminaison de requête.
  3. Sélectionnez Requête dans le menu de gauche, cliquez avec le bouton droit sur la base de données ou la table, puis sélectionnez Ingérer de nouvelles données.

Assistant Ingestion en un clic

1. Sous l’onglet Destination , choisissez la base de données et la table pour les données ingérées.

   

2. Sous l’onglet Source :

   1. Sélectionnez Event Hub comme type source pour l’ingestion.

      

   2. Renseignez les détails de la connexion de données Event Hub à l’aide des informations suivantes :

      Réglage	Exemple de valeur	Descriptif
      Nom de la connexion de données	ContosoDataConnection	Nom de la connexion de données Event Hub
      Subscription	Contoso_Synapse	L'abonnement sur lequel réside l'Event Hub.
      Espace de noms de l’Event Hub	contosoeventhubnamespace	Espace de noms du hub d’événements.
      Groupe de consommateurs	contosoconsumergroup	Nom du groupe de consommateurs Even Hub.

      

   3. Cliquez sur Suivant.

Mappage de schéma

Le service génère automatiquement des propriétés de schéma et d’ingestion, que vous pouvez modifier. Vous pouvez utiliser une structure de mappage existante ou en créer une, selon que l’ingestion est destinée à une table existante ou nouvelle.

Dans l’onglet Schéma , effectuez les actions suivantes :

1. Vérifiez le type de compression généré automatiquement.
2. Choisissez le format de vos données. Différents formats vous permettront d’apporter d’autres modifications.
3. Modifier le mappage dans la fenêtre Éditeur.

Formats de fichier

L’ingestion en un clic prend en charge l’ingestion à partir de données sources dans tous les formats de données pris en charge par l’Explorateur de données pour l’ingestion.

Fenêtre Éditeur

Dans la fenêtre Éditeur de l’onglet Schéma , vous pouvez ajuster les colonnes de la table de données si nécessaire.

Les modifications que vous pouvez apporter dans une table dépendent des paramètres suivants :

• Le type de la table est nouveau ou existant
• Si le type du mappage est nouveau ou existant

Transformations de cartographie

Certains mappages de format de données (Parquet, JSON et Avro) permettent des transformations simples lors de l'ingestion. Pour appliquer des transformations de mappage, créez ou mettez à jour une colonne dans la fenêtre Éditeur.

Les transformations de mappage peuvent être effectuées sur une colonne de type string ou datetime, avec la source dont le type de données est int ou long. Les transformations de mappage prises en charge sont les suivantes :

• DateTimeFromUnixSeconds
• DateTimeFromUnixMilliseconds
• DateTimeFromUnixMicroseconds
• DateTimeFromUnixNanoseconds

Ingestion des données

Une fois que vous avez terminé le mappage de schéma et les manipulations de colonnes, l’assistant d'ingestion démarre le processus d’ingestion des données.

• Lors de l’ingestion de données à partir de sources non conteneur , l’ingestion prend effet immédiatement.

• Si votre source de données est un conteneur :

  • La stratégie de traitement par lots de l’Explorateur de données agrège vos données.
  • Après l’ingestion, vous pouvez télécharger le rapport d’ingestion et examiner les performances de chaque objet blob qui a été traité.

Exploration initiale des données

Après l'ingestion, l'assistant vous propose des options pour utiliser des Commandes rapides pour l'exploration initiale de vos données.

Étapes suivantes

• Analyser avec l’Explorateur de données
• Surveiller les pools de l’Explorateur de données