Tutoriel : Écrire dans une table Delta stockée dans Azure Data Lake Storage Gen2

Ce tutoriel montre comment créer un travail Stream Analytics pour écrire dans une table Delta dans Azure Data Lake Storage Gen2. Dans ce tutoriel, vous allez apprendre à :

Prerequisites

Avant de commencer, procédez comme suit :

• Si vous n’avez pas d’abonnement Azure, créez un compte gratuit.
• Déployez le générateur d’événements TollApp sur Azure, utilisez ce lien pour déployer un modèle Azure TollApp. Définissez le paramètre « interval » sur 1. Créez et utilisez un nouveau groupe de ressources pour cette étape.
• Créez un compte Data Lake Storage Gen2.

Création d’un travail Stream Analytics

1. Connectez-vous au portail Azure.

2. Sélectionnez Tous les services dans le menu de gauche.

3. Déplacez la souris sur les travaux Stream Analytics dans la section Analytics , puis sélectionnez + (plus) .

   

4. Sélectionnez Créer une ressource dans le coin supérieur gauche du portail Azure.

5. Sélectionnez Stream Analytics>tâche Stream Analytics dans la liste des résultats.

6. Dans la page Nouveau travail Stream Analytics , procédez comme suit :

   1. Pour Abonnement, sélectionnez votre abonnement Azure.
   2. Pour le groupe de ressources, sélectionnez la même ressource que celle que vous avez utilisée précédemment dans le déploiement TollApp.
   3. Pour Nom, entrez un nom pour le travail. Le nom du travail Stream Analytics peut contenir des caractères alphanumériques, des traits d’union et des traits de soulignement uniquement et il doit être compris entre 3 et 63 caractères.
   4. Pour l’environnement d’hébergement, vérifiez que cloud est sélectionné.
   5. Pour les unités stream, sélectionnez 1. Les unités de diffusion en continu représentent les ressources informatiques requises pour exécuter un travail. Pour en savoir plus sur la mise à l’échelle des unités de diffusion en continu, consultez l’article sur la compréhension et l’ajustement des unités de diffusion en continu .

   

7. Au bas de la page, sélectionnez Examiner et créer.

8. Dans la page Vérifier + créer , passez en revue les paramètres, puis sélectionnez Créer pour créer une page Stream Analytics.

9. Dans la page de déploiement, sélectionnez Accéder à la ressource pour accéder à la page de travail Stream Analytics .

Configurer les paramètres d'entrée du travail

L’étape suivante consiste à définir une source d’entrée pour le travail afin de lire les données à l’aide du hub d’événements créé dans le déploiement TollApp.

1. Recherchez le travail Stream Analytics créé dans la section précédente.

2. Dans la section Topologie de travail du travail Stream Analytics, sélectionnez Entrées.

3. Sélectionnez + Ajouter une entrée et un hub d’événements.

   

4. Remplissez le formulaire d’entrée avec les valeurs suivantes créées via le modèle Azure TollApp :

   1. Pour l’alias d’entrée, entrez entrystream.

   2. Choisissez Sélectionner Event Hub à partir de vos abonnements.

   3. Pour Abonnement, sélectionnez votre abonnement Azure.

   4. Pour l’espace de noms Event Hub, sélectionnez l’espace de noms event Hub que vous avez créé dans la section précédente.

   5. Utilisez les options par défaut sur les paramètres restants, puis sélectionnez Enregistrer.

      

Configurer la sortie du travail

L’étape suivante consiste à définir un récepteur de sortie dans lequel la tâche peut écrire des données. Dans ce tutoriel, vous écrivez une sortie dans une table Delta dans Azure Data Lake Storage Gen2.

1. Dans la section Topologie du travail Stream Analytics, sélectionnez l’option Sorties .

2. Sélectionnez + Ajouter une sortie>Stockage blob/ADLS Gen2.

   

3. Remplissez le formulaire de sortie avec les détails suivants, puis sélectionnez Enregistrer :

   1. Pour l’alias de sortie, entrez DeltaOutput.

   2. Choisissez Sélectionner un stockage blob/ADLS Gen2 dans vos abonnements.

   3. Pour Abonnement, sélectionnez votre abonnement Azure.

   4. Pour le compte de stockage, choisissez le compte ADLS Gen2 (celui qui commence par tollapp) que vous avez créé.

   5. Pour le conteneur, sélectionnez Créer et fournissez un nom de conteneur unique.

   6. Pour le format de sérialisation des événements, sélectionnez Delta Lake. Bien que delta lake soit répertorié comme l’une des options ici, il n’est pas un format de données. Delta Lake utilise des fichiers Parquet versionnés pour stocker vos données. Pour en savoir plus sur delta lake.

   7. Pour le chemin de la table Delta, entrez le dossier du didacticiel/la table delta.

   8. Utilisez les options par défaut sur les paramètres restants, puis sélectionnez Enregistrer.

      

Créer des requêtes

À ce stade, vous avez un job Stream Analytics configuré pour lire un flux de données entrant. L’étape suivante consiste à créer une requête qui analyse les données en temps réel. Les requêtes utilisent un langage de type SQL qui a certaines extensions spécifiques à Stream Analytics.

1. À présent, sélectionnez Requête sous Topologie de travail dans le menu de gauche.

2. Entrez la requête suivante dans la fenêtre de requête. Dans cet exemple, la requête lit les données d’Event Hubs et copie les valeurs sélectionnées dans une table Delta dans ADLS Gen2.

    SELECT State, CarModel.Make, TollAmount
    INTO DeltaOutput
    FROM EntryStream TIMESTAMP BY EntryTime
   

3. Sélectionnez Enregistrer la requête dans la barre d’outils.

   

Démarrer le travail Stream Analytics et observer le résultat

1. Revenez à la page vue d’ensemble du travail dans le portail Azure, puis sélectionnez Démarrer.

   

2. Dans la page Démarrer le travail , vérifiez que Maintenant est sélectionné pour l’heure de début du travail, puis sélectionnez Démarrer en bas de la page.

   

3. Après quelques minutes, dans le portail, recherchez le compte de stockage et le conteneur que vous avez configuré comme sortie pour le travail. Vous pouvez maintenant voir la table delta dans le dossier spécifié dans le conteneur. Le travail prend quelques minutes pour commencer pour la première fois, une fois qu’il a démarré, il continuera à s’exécuter à mesure que les données arrivent.

   

Nettoyer les ressources

Quand vous n’en avez plus besoin, supprimez le groupe de ressources, le travail Stream Analytics et toutes les ressources associées. La suppression du travail évite la facturation des unités de diffusion en continu consommées par le travail. Si vous envisagez d’utiliser le travail ultérieurement, vous pouvez l’arrêter et le redémarrer ultérieurement lorsque vous en avez besoin. Si vous ne souhaitez pas continuer à utiliser ce travail, supprimez toutes les ressources créées par ce didacticiel en procédant comme suit :

1. Dans le menu de gauche du portail Azure, sélectionnez Groupes de ressources, puis sélectionnez le nom de la ressource que vous avez créée.
2. Dans la page de votre groupe de ressources, sélectionnez Supprimer, tapez le nom de la ressource à supprimer dans la zone de texte, puis sélectionnez Supprimer.

Étapes suivantes

Dans ce tutoriel, vous avez créé un travail Stream Analytics simple, filtré les données entrantes et écrit des résultats dans une table Delta dans un compte ADLS Gen2. Pour en savoir plus sur les travaux Stream Analytics :