Partager via


Surveiller l’état et les performances d’un flux d’événements

Vous pouvez utiliser la fonctionnalité eventstreams Microsoft Fabric pour surveiller les données d’événements de streaming, l’état d’ingestion et les performances d’ingestion. Cet article explique comment utiliser des indicateurs de performance pour surveiller l’état du flux d'événements et vérifier les journaux, les erreurs, et les analyses des données.

Un flux d'événements offre deux types d'expériences de surveillance : Analyses de données et journaux d'exécution. Une ou les deux vues sont disponibles, selon la source ou la destination que vous sélectionnez.

Prérequis

  • Accès à un espace de travail avec des permissions de visionnage ou supérieures où se trouve votre élément de flux d'événements.
  • Une source de hub d’événements Azure ou une destination lakehouse est ajoutée à votre flux d’événements.

Insights sur les données

L’onglet Informations sur les données s’affiche dans le volet inférieur de l’éditeur principal. Il fournit des métriques que vous pouvez utiliser pour surveiller l’état et le niveau de performance du flux d’événements, des sources et des destinations. Différentes sources et destinations ont des métriques différentes.

Lorsque vous sélectionnez un nœud dans le canevas de l’éditeur principal, les métriques de ce nœud spécifique s’affichent sous l’onglet Informations sur les données .

Analyses des données pour un nœud de flux d'événements

Les métriques suivantes s’affichent pour un nœud de flux d’événements sous l’onglet Insights sur les données :

Métrique Unité Description
IncomingMessages Count Nombre d’événements ou de messages envoyés à un flux d’événements sur une période spécifiée.
OutgoingMessages Count Nombre d’événements ou de messages envoyés à partir d’un flux d’événements sur une période spécifiée.
IncomingBytes Octets Octets entrants pour un flux d’événements sur une période spécifiée.
OutgoingBytes Octets Octets sortants pour un flux d’événements sur une période spécifiée.

Pour afficher des insights sur les données d’un flux d’événements :

  1. Dans le canevas de l’éditeur principal, sélectionnez le nœud eventstream.

  2. Dans le volet inférieur, sélectionnez l’onglet Informations sur les données .

    Si les données se trouvent dans le flux d’événements, le graphique des métriques s’affiche.

  3. Sur le côté droit de l’onglet, cochez les cases en regard des métriques que vous souhaitez afficher.

Capture d’écran montrant les métriques eventstream.

Analyses de données pour Azure Event Hubs, Azure IoT Hub, lakehouse, eventhouse, flux dérivé et nœuds d'activateur Fabric

Les métriques suivantes sont disponibles sous l’onglet Informations sur les données pour Azure Event Hubs, Azure IoT Hub, lakehouse, eventhouse (traitement des événements avant mode d’ingestion ), flux dérivé et nœuds d’activateur fabric :

Métrique Unité Description
Événements d’entrée Count Nombre d’éléments de données d’événement que le moteur eventstream extrait d’un flux d’événements (dans un lakehouse, un eventhouse, un stream dérivé ou une destination Fabric Activator) ou à partir d’une source d’événement (dans une source Azure Event Hubs ou Azure IoT Hub).
Octets des événements d’entrée Octets Quantité de données d’événement extraites par le moteur d'eventstream d’un flux d’événements (dans un lac de données, une maison d'événements, un flux dérivé ou une destination Fabric Activator) ou à partir d’une source d’événement (dans une source Azure Event Hubs ou Azure IoT Hub).
Événements de sortie Count Nombre d’éléments de données d’événement que le moteur eventstream envoie à un lakehouse ou à un eventhouse (dans un lakehouse, un eventhouse, un flux dérivé ou une destination Fabric Activator) ou depuis une source d’événement (dans une source Azure Event Hubs ou Azure IoT Hub).
Événements d’entrée en backlog Count Nombre d’événements d’entrée en backlog dans le moteur de flux d’événements.
Erreurs d’exécution Count Nombre total d’erreurs liées au traitement des événements.
Erreurs de conversion de données Count Nombre d’événements de sortie qui n’ont pas pu être convertis dans le schéma de sortie attendu.
Erreurs de sérialisation Count Nombre d’événements d’entrée qui n’ont pas pu être désérialisés à l’intérieur du moteur de flux d’événements.
Délai en filigrane Second Retard maximal du filigrane dans toutes les partitions de toutes les sorties pour cette source ou cette destination. Il est calculé comme l’heure de l’horloge murale moins le filigrane le plus grand.

Pour afficher les informations sur les données d’un hub d’événements Azure, d’un hub IoT Azure, d'un lakehouse, d'un eventhouse (mode de traitement des événements avant ingestion), d’un flux dérivé ou d’un Activateur Fabric :

  1. Dans le canevas de l’éditeur principal, sélectionnez le nœud Azure Event Hubs, Azure IoT Hub, lakehouse, eventhouse, flux dérivé ou Fabric Activator.

  2. Dans le volet inférieur, sélectionnez l’onglet Informations sur les données .

    Si les données se trouvent dans le hub d’événements, IoT Hub, lakehouse, eventhouse, stream dérivé ou activateur Fabric, le graphique des métriques s’affiche.

  3. Sur le côté droit de l’onglet, cochez les cases en regard des métriques que vous souhaitez afficher.

Capture d’écran montrant les métriques sources et de destination.

Analyses des données pour les nœuds sources du connecteur de diffusion en continu

Les nœuds sources du connecteur de streaming incluent les sources suivantes :

  • Flux de données Amazon Kinesis
  • Amazon MSK Kafka
  • Apache Kafka
  • CDC d’Azure Cosmos DB
  • Explorateur de données Azure
  • Azure Service Bus
  • Capture des changements de données (CDC) de la base de données Azure SQL
  • Capture de changements de données modifiées (CDC) Azure SQL Managed Instance
  • Confluent Cloud Kafka
  • Google Cloud Pub/Sub
  • HTTP
  • Capture de données modifiées MongoDB
  • MQTT
  • CDC de la base de données MySQL
  • Capture de changements de données PostgreSQL CDC
  • Temps réel
  • Solace PubSub+
  • Base de données SQL Server sur une machine virtuelle (DB)

Les mesures suivantes sont disponibles sous l’onglet Insights de données des nœuds sources du connecteur de diffusion en continu :

Métrique Unité Description
Événements source sortants Count Nombre d’enregistrements envoyés à partir des transformations (le cas échéant) et écrits dans un flux d’événements pour la tâche qui appartient au connecteur source nommé dans le worker (depuis le dernier redémarrage de la tâche).
Événements entrants de la source Count Nombre d’enregistrements produits ou interrogés par la tâche qui appartient au connecteur source nommé dans le worker (depuis le dernier redémarrage de la tâche), avant l’application des transformations.
Erreurs de connecteur journalisées Count Nombre d’erreurs enregistrées pour ces tâches de connecteur.
Erreurs de traitement du connecteur Count Nombre d’erreurs de traitement des enregistrements dans ces tâches de connecteur.
Échecs de traitement du connecteur Count Nombre d’échecs de traitement des enregistrements dans ces tâches de connecteur, y compris les échecs de nouvelle tentative.
Événements de connecteur ignorés Count Nombre d’enregistrements ignorés en raison d’erreurs dans ces tâches de connecteur.

Pour afficher les insights de données d’une source de connecteur de diffusion en continu :

  1. Sélectionnez Utiliser une source externe, puis choisissez une source de connecteur de streaming.

  2. Configurez et publiez la source du connecteur de diffusion en continu.

  3. Dans le volet inférieur en mode direct, sélectionnez l’onglet Informations sur les données .

    Si les données se trouvent à l’intérieur de la source du connecteur de streaming, le graphique des métriques s’affiche.

  4. Sur le côté droit de l’onglet, cochez les cases en regard des métriques que vous souhaitez afficher.

Capture d’écran montrant les métriques sources du connecteur.

Journaux de runtime

Utilisez l’onglet Journaux d’activité runtime pour vérifier les journaux détaillés qui se produisent dans le moteur eventstream. Les journaux de runtime ont trois niveaux de gravité : avertissement, erreur et information.

Pour afficher les journaux d’exécution d’un hub d’événements Azure, Azure IoT Hub, source du connecteur de streaming, lakehouse, eventhouse (mode traitement des événements avant ingestion) ou Fabric activator :

  1. Dans le canevas de l’éditeur principal, sélectionnez le nœud.

  2. Dans le volet inférieur, sélectionnez l’onglet Journaux d’activité runtime .

    Si les données se trouvent dans le hub d’événements Azure, Azure IoT Hub, source du connecteur de streaming, lakehouse, eventhouse ou activateur Fabric, les journaux s’affichent.

  3. Recherchez les journaux en utilisant l’option Filtrer par mot clé, ou en filtrant la liste en modifiant la gravité ou le type.

  4. Pour consulter les journaux les plus actuels, sélectionnez Actualiser.

Capture d’écran montrant les journaux d’activité du runtime source et de destination.