Udostępnij przez


Monitorowanie stanu i wydajności strumienia zdarzeń

Za pomocą funkcji wydarzeń strumieniowania w usłudze Microsoft Fabric można monitorować dane wydarzeń strumieniowania, status pozyskiwania oraz efektywność pozyskiwania. W tym artykule wyjaśniono, jak używać metryk do monitorowania stanu strumienia zdarzeń i sprawdzania dzienników, błędów i szczegółowych informacji o danych.

Strumień zdarzeń ma dwa typy środowisk monitorowania: szczegółowe informacje o danych i dzienniki środowiska uruchomieniowego. Jeden lub oba widoki są dostępne w zależności od wybranego źródła lub miejsca docelowego.

Wymagania wstępne

  • Dostęp do obszaru roboczego z uprawnieniami podglądu lub wyższymi uprawnieniami, w których znajduje się element strumienia zdarzeń.
  • Źródło centrum zdarzeń platformy Azure lub miejsce docelowe usługi Lakehouse dodane do strumienia zdarzeń.

Analiza danych

Karta Szczegółowe informacje o danych jest wyświetlana w dolnym okienku edytora głównego. Karta zawiera metryki, których można użyć do monitorowania stanu i wydajności strumienia zdarzeń, źródeł i miejsc docelowych. Różne źródła i miejsca docelowe mają różne metryki.

Po wybraniu węzła na kanwie edytora głównego metryki dla tego konkretnego węzła są wyświetlane na karcie Szczegółowe informacje o danych .

Analiza danych dla węzła strumienia zdarzeń

Następujące metryki są wyświetlane dla węzła strumienia zdarzeń na karcie Szczegółowe informacje o danych:

Metric Jednostka opis
IncomingMessages Count Liczba zdarzeń lub komunikatów wysyłanych do strumienia zdarzeń w określonym przedziale czasu.
Wychodzące wiadomości Count Liczba zdarzeń lub komunikatów wysyłanych z strumienia zdarzeń w określonym przedziale czasu.
Bajty przychodzące Bajty Bajty przychodzące dla strumienia zdarzeń w określonym przedziale czasu.
Bajty wychodzące Bajty Bajty wychodzące dla strumienia zdarzeń w określonym przedziale czasu.

Aby wyświetlić szczegółowe informacje o danych dla strumienia zdarzeń:

  1. Na kanwie edytora głównego wybierz węzeł eventstream.

  2. W dolnym okienku wybierz kartę Szczegółowe informacje o danych .

    Jeśli dane znajdują się wewnątrz strumienia zdarzeń, zostanie wyświetlony wykres metryk.

  3. Po prawej stronie karty zaznacz pola wyboru obok metryk, które chcesz wyświetlić.

Zrzut ekranu przedstawiający metryki strumienia zdarzeń.

Wglądy w dane dla usług Azure Event Hubs, Azure IoT Hub, lakehouse, eventhouse, pochodnego strumienia i węzłów aktywatora Fabric

Następujące metryki są dostępne na karcie Szczegółowe informacje o danych dla usług Azure Event Hubs, Azure IoT Hub, lakehouse, eventhouse (przetwarzanie zdarzeń przed trybem pozyskiwania ), strumienia pochodnego i węzłów aktywatora sieci szkieletowej:

Metric Jednostka opis
Zdarzenia wejściowe Count Liczba elementów danych zdarzeń pobieranych przez silnik strumienia zdarzeń ze strumienia zdarzeń (w lakehouse, eventhouse, pochodnym strumieniu lub miejscu docelowym Fabric Activator) lub ze źródła zdarzeń (w Azure Event Hubs lub Azure IoT Hub).
Bajty zdarzeń wejściowych Bajty Ilość danych zdarzeń pobieranych przez silnik strumienia zdarzeń z eventstream (w lakehouse, eventhouse, pochodnym strumieniu lub miejscu docelowym Fabric Activator) lub ze źródła zdarzeń (w Azure Event Hubs lub Azure IoT Hub).
Zdarzenia wyjściowe Count Liczba elementów danych zdarzeń, które silnik strumienia zdarzeń wysyła do lakehouse lub eventhouse (w lakehouse, eventhouse, strumieniu pochodnym lub docelowym punkcie Active Fabric) lub ze źródła zdarzeń (w usłudze Azure Event Hubs lub Azure IoT Hub).
Zdarzenia wejściowe z zaległych danych wejściowych Count Liczba zdarzeń wejściowych, które są zaległe w aucie eventstream.
Błędy środowiska uruchomieniowego Count Łączna liczba błędów związanych z przetwarzaniem zdarzeń.
Błędy konwersji danych Count Liczba zdarzeń wyjściowych, których nie można przekonwertować na oczekiwany schemat wyjściowy.
błędy deserializacji Count Liczba zdarzeń wejściowych, których nie można zdeserializować wewnątrz aparatu strumienia zdarzeń.
Opóźnienie znaku wodnego Second Maksymalne opóźnienie limitu we wszystkich partycjach wszystkich danych wyjściowych dla tego źródła lub miejsca docelowego. Jest obliczany jako czas zegara ściennego minus największy punkt kontrolny.

Aby wyświetlić szczegółowe informacje o danych dla centrum zdarzeń Azure, centrum IoT Azure, lakehouse, eventhouse (tryb przetwarzania zdarzeń przed pozyskiwaniem), strumienia pochodnego lub aktywatora Fabric:

  1. Na kanwie edytora głównego wybierz węzeł Azure Event Hubs, Azure IoT Hub, lakehouse, eventhouse, strumień pochodny lub węzeł Aktywator sieci szkieletowej.

  2. W dolnym okienku wybierz kartę Szczegółowe informacje o danych .

    Jeśli dane znajdują się wewnątrz centrum zdarzeń, centrum IoT Hub, lakehouse, eventhouse, strumienia pochodnego lub aktywatora sieci szkieletowej, zostanie wyświetlony wykres metryk.

  3. Po prawej stronie karty zaznacz pola wyboru obok metryk, które chcesz wyświetlić.

Zrzut ekranu przedstawiający metryki źródłowe i docelowe.

Szczegółowe informacje o danych dla węzłów źródłowych łącznika przesyłania strumieniowego

Węzły źródłowe łącznika przesyłania strumieniowego obejmują następujące źródła:

  • Strumienie danych Amazon Kinesis
  • Amazon MSK Kafka
  • Apache Kafka
  • Azure Cosmos DB CDC
  • Azure Data Explorer
  • Azure Service Bus
  • Przechwytywanie zmian danych w usłudze Azure SQL Database (CDC)
  • Zarządzana instancja Azure SQL CDC
  • Confluent Cloud Kafka
  • Google Cloud Pub/Sub (system publikowania/subskrypcji)
  • HTTP
  • MongoDB CDC
  • MQTT
  • CDC dla bazy danych MySQL
  • CDC bazy danych PostgreSQL
  • Pogoda w czasie rzeczywistym
  • Pocieszenie PubSub+
  • Program SQL Server w bazie danych maszyny wirtualnej (DB)

Następujące metryki są dostępne na karcie Szczegółowe informacje o danych dla węzłów źródłowych łącznika przesyłania strumieniowego:

Metric Jednostka opis
Źródłowe zdarzenia wychodzące Count Liczba rekordów wysłanych z przekształceń (jeśli są), zapisanych do strumienia zdarzeń dla zadania należącego do łącznika o podanej nazwie w pracownika (od ostatniego ponownego uruchomienia zadania).
Zdarzenia przychodzące ze źródła Count Liczba rekordów utworzonych lub pobranych przez zadanie należące do nazwanego łącznika źródłowego w pracowniku (od czasu ostatniego ponownego uruchomienia zadania), przed zastosowaniem przekształceń.
Zarejestrowane błędy łącznika Count Liczba błędów zarejestrowanych dla tych zadań łącznika.
Błędy przetwarzania łącznika Count Liczba błędów przetwarzania rekordów w tych zadaniach związanych z łącznikiem.
Błędy przetwarzania łącznika Count Liczba niepowodzeń przetwarzania rekordów w tych zadaniach łącznika, w tym niepowodzenia podczas powtórnych prób.
Pominięte zdarzenia łącznika Count Liczba rekordów pominiętych z powodu błędów w ramach tych zadań łącznika.

Aby wyświetlić szczegółowe informacje o danych dla źródła łącznika przesyłania strumieniowego:

  1. Wybierz pozycję Użyj źródła zewnętrznego, a następnie wybierz źródło łącznika przesyłania strumieniowego.

  2. Konfigurowanie i publikowanie źródła łącznika przesyłania strumieniowego.

  3. W dolnym okienku w widoku na żywo wybierz kartę Szczegółowe informacje o danych .

    Jeśli dane znajdują się wewnątrz źródła łącznika przesyłania strumieniowego, zostanie wyświetlony wykres metryk.

  4. Po prawej stronie karty zaznacz pola wyboru obok metryk, które chcesz wyświetlić.

Zrzut ekranu przedstawiający metryki źródła łącznika.

Dzienniki środowiska uruchomieniowego

Użyj karty Dzienniki wykonania, aby sprawdzić szczegółowe dzienniki występujące w silniku strumienia zdarzeń. Dzienniki środowiska uruchomieniowego mają trzy poziomy ważności: ostrzeżenie, błąd i informacje.

Aby wyświetlić dzienniki środowiska uruchomieniowego dla centrum zdarzeń platformy Azure, centrum IoT platformy Azure, źródła łącznika strumieniowego, lakehouse, eventhouse (przetwarzanie zdarzeń w trybie przed pozyskaniem) lub aktywator platformy Fabric:

  1. Na kanwie edytora głównego wybierz węzeł.

  2. W dolnym okienku wybierz kartę Dzienniki środowiska uruchomieniowego .

    Jeśli dane znajdują się wewnątrz Azure Event Hub, Azure IoT Hub, źródła łącznika strumieniowego, Lakehouse, Eventhouse lub Fabric Activator, pojawią się dzienniki.

  3. Przeszukaj dzienniki przy użyciu opcji Filtruj według słowa kluczowego lub przefiltruj listę, zmieniając ważność lub typ.

  4. Aby wyświetlić najnowsze dzienniki, wybierz pozycję Odśwież.

Zrzut ekranu przedstawiający źródłowe i docelowe dzienniki środowiska uruchomieniowego.