didacticiel Real-Time Intelligence partie 4 : Transformer des données dans une base de données KQL

Dans cette partie du tutoriel, vous transformez des données dans une base de données KQL à l’aide d’une stratégie de mise à jour pour déclencher un mécanisme automatisé lorsque de nouvelles données sont écrites dans une table. La stratégie élimine la nécessité d’une orchestration spéciale en exécutant une requête pour transformer les données ingérées et enregistrer le résultat dans une table de destination.

Plusieurs stratégies de mise à jour peuvent être définies sur une table unique, ce qui permet différentes transformations et l’enregistrement des données dans plusieurs tables simultanément. Les tables cibles peuvent avoir un schéma, une stratégie de rétention et d’autres stratégies différentes de la table source.

Déplacer une table de données brutes vers un dossier Bronze

Dans cette étape, vous déplacez la table de données brutes dans un dossier Bronze pour organiser les données dans la base de données KQL.

1. Accédez à l’espace de travail où vous avez créé des ressources.

2. Sélectionnez la base de données KQL du didacticiel que vous avez créée précédemment.

3. Dans l’arborescence d’objets, sous le nom de la base de données KQL, sélectionnez l’espace de travail de requête appelé Tutorial_queryset.

   

4. Copiez et collez la commande suivante dans l’éditeur de requête pour déplacer la table RawData dans un dossier Bronze. Exécutez la requête en sélectionnant le bouton Exécuter dans le ruban du menu ou en appuyant sur Maj + Entrée.

   .alter table RawData (BikepointID:string,Street:string,Neighbourhood:string,Latitude:real,Longitude:real,No_Bikes:long,No_Empty_Docks:long,Timestamp:datetime) with (folder="Bronze")
   

   Vous voyez un nouveau dossier nommé Bronze contenant une table appelée RawData sous le nœud Tables de l’arborescence d’objets.

   

Créer une table cible

Dans cette étape, vous créez une table cible utilisée pour stocker les données transformées par la stratégie de mise à jour.

1. Sur une nouvelle ligne, avec au moins une ligne entre le curseur et la dernière requête, copiez et collez la commande suivante pour créer une table appelée TransformData avec un schéma spécifié.

   .create table TransformedData (BikepointID: int, Street: string, Neighbourhood: string, Latitude: real, Longitude: real, No_Bikes: long, No_Empty_Docks: long, Timestamp: datetime, BikesToBeFilled: long, Action: string) with (folder="Silver")
   

2. Exécutez la commande pour créer la table.

   Vous voyez un nouveau dossier nommé Silver contenant une table appelée TransformData sous le nœud Tables de l’arborescence d’objets.

   

Créer une fonction avec une logique de transformation

Dans cette étape, vous créez une fonction stockée qui contient la logique de transformation à utiliser dans la stratégie de mise à jour. La fonction analyse la colonne BikepointID et ajoute deux nouvelles colonnes calculées.

1. Dans le ruban du menu, sélectionnez Base de données.

2. Sélectionnez + Nouvelle>fonction.

3. Modifiez la fonction pour qu’elle corresponde au code suivant, ou copiez et collez la commande suivante dans l’éditeur de requête.

   .create-or-alter function TransformRawData() {
   RawData
   | parse BikepointID with * "BikePoints_" BikepointID:int
   | extend BikesToBeFilled = No_Empty_Docks - No_Bikes
   | extend Action = iff(BikesToBeFilled > 0, tostring(BikesToBeFilled), "NA")
    }
   

4. Exécutez la commande pour créer la fonction.

   Vous voyez la fonction TransformRawData sous le nœud Functions dans l’arborescence d’objets.

   

Appliquer une stratégie de mise à jour

Dans cette étape, vous appliquez une stratégie de mise à jour à la table cible pour transformer les données. La stratégie de mise à jour utilise la fonction stockée TransformRawData() pour analyser la colonne BikepointID et ajoute deux nouvelles colonnes calculées.

1. Dans le ruban du menu, sélectionnez Base de données.

2. Sélectionnez + Nouvelle>stratégie de mise à jour de table.

3. Modifiez la stratégie pour qu’elle corresponde au code suivant, ou copiez/collez la commande suivante dans l’éditeur de requête.

    .alter table TransformedData policy update
    ```[{
        "IsEnabled": true,
        "Source": "RawData",
        "Query": "TransformRawData()",
        "IsTransactional": false,
        "PropagateIngestionProperties": false
    }]```
   

4. Exécutez la commande pour créer la stratégie de mise à jour.

Vérifier la transformation

Dans cette étape, vérifiez que la transformation réussit en comparant la sortie des tables source et cible.

1. Copiez et collez la requête suivante dans l’éditeur de requête pour afficher 10 enregistrements arbitraires dans la table source. Exécute la requête.

   RawData
   | take 10
   

2. Copiez et collez la requête suivante dans l’éditeur de requête pour afficher 10 enregistrements arbitraires dans la table cible. Exécute la requête.

   TransformedData
   | take 10
   

Notez que la colonne BikepointID de la table cible ne contient plus le préfixe « BikePoints_ ».

Contenu connexe

Pour plus d’informations sur les tâches de ce didacticiel, consultez :

• Mettre à jour la stratégie
• Opérateur d’analyse
• Fonctions stockées
• Commande .create function

Étape suivante