Freigeben über

Einrichten von Echtzeitüberwachung und beobachtbaren Systemen für Medien

Azure Data Explorer
Azure-Funktionen
Microsoft Fabric
Azure Blob Storage
Azure Event Hubs

Diese Architektur beschreibt eine Lösung, die nahezu Echtzeitüberwachung und Observierbarkeit von Systemen und Benutzergeräte-Telemetriedaten bietet. Der Fokus liegt dabei auf einem Anwendungsfall in der Medienbranche.

Aufbau

Diagramm, das eine Architektur zeigt, die nahezu Echtzeitüberwachung und Observierbarkeit von Systemen und Benutzergeräte-Telemetriedaten bietet.

Laden Sie eine Visio-Datei dieser Architektur herunter.

Datenfluss

Clientgeräte und Anwendungen streamen rohe Telemetriedaten über HTTP und Konnektoren an Microsoft Fabric. Eventstreams nehmen die Daten ein. Fabric Real-Time Intelligence-Funktionen transformieren, normalisieren und speichern Telemetriedaten in einem Ereignishaus, bei dem es sich um eine skalierbare Zeitreihendatenbank handelt. Real-Time Intelligence-Dashboards liefern Einblicke, und der Datenaktivator löst automatisierte Aktionen basierend auf erkannten Mustern aus.

Der folgende Datenfluss entspricht dem vorherigen Diagramm:

  1. Instrumentation: Die Instrumentierung erfolgt über Messsonden oder Agenten, die in Systemen installiert sind, um Daten zu überwachen. Diese Agenten haben verschiedene Formen. Beispielsweise kann ein Unternehmen in einer Video-on-Demand-Streamingplattform offene Standards dash.js verwenden, um QoE-Metriken (Quality of Experience) von Kunden zu sammeln.

  2. Ingestion: Clients nehmen unformatierte Telemetrie direkt über HTTP-Aufrufe an dienstspezifische Endpunkte an. Azure Functions verarbeitet eingehende Daten. Alternativ können Sie Telemetrie über externe Systeme in persistente Speicherlösungen hochladen, z. B. Azure Blob Storage oder Datenseen. Fabric-Ereignisstreams bieten eine No-Code-Erfahrung, um diese Daten an Fabric-native Entitäten wie ein Ereignishaus oder einen Datenaktivator weiterzuleiten.

  3. Transformation und Persistenz: Fabric verwaltet die Datentransformation mithilfe von Tabellenaktualisierungsrichtlinien und materialisierten Ansichten. Ein Eventhouse speichert die transformierten Daten und unterstützt Analysen mit hohem Durchsatz für große Datasets in Zeitreihen. Dieser Ansatz ergänzt bestehende Aufnahmemechanismen. Darüber hinaus bietet sie eine integriertere und skalierbare Alternative zu herkömmlichen Pipelines, die auf Azure Functions und Data Explorer für Transformation und Analyse basieren.

  4. Überwachung: Der Real-Time Intelligence-Hub in Fabric zentralisiert den Zugriff auf Streamingereignisse und Überwachungsdaten. Sie können es verwenden, um Metriken zu visualisieren, Warnungen festzulegen und die Leistung im gesamten Fabric-Mandanten zu überwachen. Diese Architektur konzentriert sich in erster Linie auf die Überwachung der Anwendungen, Dienste und Clientgeräte mit Spielern , wie auf der linken Seite des Diagramms dargestellt. Diese Komponenten generieren telemetrie- und betriebstechnische Signale, die andere Komponenten aufnehmen und analysieren. Sie dienen als Kernziele der Beobachtbarkeit.

  5. Anomalieerkennung: Real-Time Intelligence umfasst integrierte KI-gestützte Anomalieerkennung über den Datenaktivator. Dieses Feature kann ungewöhnliche Muster oder Schwellenwertverletzungen bei Streamingdaten automatisch identifizieren und reaktionsfähige Aktionen auslösen. Diese Funktionen verwenden Machine Learning-Modelle, um Anomalien in Echtzeit ohne manuelle Konfiguration zu erkennen. Eventhouses unterstützen auch erweiterte Anomalieerkennungsfunktionen, die Saisonalität, Trends und historische Basispläne berücksichtigen. Diese Funktion ermöglicht präzisere und kontextbezogeneRekenntnisse in großen Zeitreihen-Datasets.

Komponenten

  • Blob Storage ist ein skalierbarer Objektspeicherdienst für unstrukturierte Daten. In dieser Architektur speichert Blob Storage unformatierte Telemetrie, die aus Anwendungen, Diensten oder externen Anbietern stammt. Behandeln Sie diese Daten als vorübergehend, wenn keine weitere Analyse erforderlich ist. Die Telemetrie leitet über einen Fabric-Ereignisstream in ein Eventhouse weiter. Sie können Fabric-native Funktionen verwenden, um die Daten für Analysen mit hohem Durchsatz zu transformieren und beizubehalten.

  • Azure Event Grid ist ein verwalteter Ereignisroutingdienst, der ereignisgesteuerte Architekturen ermöglicht. In dieser Architektur dient Event Grid als zuverlässiges Ereignisübermittlungssystem, das Ereignisse überwacht, die Blob Storage veröffentlicht, z. B. blob-Erstellung oder Löschung. Diese Ereignisse lösen die nachgelagerte Verarbeitung über Azure-Funktionen aus, die Ereignisrasterbenachrichtigungen abonnieren. Diese Integration ermöglicht reaktionsfähige, ereignisgesteuerte Workflows, die telemetrieingestion und Routing innerhalb der umfassenderen Fabric-basierten Architektur unterstützen.

  • Azure Event Hubs ist eine Big Data Streaming-Plattform und ein Ereignisaufnahmedienst, der Millionen von Ereignissen pro Sekunde empfangen und verarbeiten kann. In dieser Architektur dient Event Hubs als Eingangstür, die oft als Ereignisingestor bezeichnet wird, für die Ereignispipeline. Ein Ereignisingestor ist eine Komponente oder ein Dienst zwischen Ereignisverlegern und Ereigniskonsumenten. Es entkoppelt die Erzeugung eines Ereignisstroms von der Nutzung der Ereignisse.

  • Azure Functions ist ein serverloser Computedienst, mit dem Sie ereignisgesteuerten Code ausführen können, ohne die Infrastruktur explizit bereitstellen oder verwalten zu müssen. In dieser Architektur analysiert und transformiert Azure Functions Daten, die über HTTP- und Blob-Endpunkte erfasst werden. Die Telemetriedaten werden zu Eventstreams und Eventhouses für skalierbare Transformation und Analysen weitergeleitet.

  • Ein Fabric-Ereignisstream ist ein Feature in Fabric, das die Erfassung, Transformation und Routing in Echtzeit ermöglicht. In dieser Architektur stellen Fabric Eventstreams verschiedene Quell-Connectoren zum Abrufen von Ereignisdaten aus unterschiedlichen Quellen bereit. Sie können diesen Ansatz verwenden, um Ihre Ereignisdatenverarbeitung, Transformation und Routinglogik zu erstellen, ohne Code zu schreiben.

  • Ein Fabric Eventhouse ist eine Analysedatenbank, die für Zeitreihendaten und Echtzeitanalyseworkloads optimiert ist. In dieser Architektur sind Eventhouses auf zeitbasierte Streamingereignisse zugeschnitten, die strukturierte, semistrukturierte und unstrukturierte Daten enthalten. Sie können Daten aus mehreren Quellen in mehreren Pipelines und mehreren Datenformaten abrufen. Diese Daten werden basierend auf der Aufnahmezeit indiziert und partitioniert.

  • Der Datenaktivator ist ein Feature ohne Code in Fabric, das automatisch Aktionen ausführt, wenn Muster beim Ändern von Daten erkannt werden. In dieser Architektur dient der Datenaktivator als Ereigniserkennungsmodul mit geringer Latenz, das Aktionen auslöst, wenn bestimmte Muster oder Bedingungen in Datenquellen erkannt werden. Sie überwacht diese Datenquellen mit Untersekundenlatenz und initiiert Aktionen, wenn Daten Schwellenwerte erreichen oder bestimmte Muster erkennen. Diese Aktionen umfassen das Senden von E-Mails oder Teams-Benachrichtigungen, das Starten von Power Automate-Flüssen oder die Integration in externe Systeme.

Alternativen

Azure Data Factory bietet Tools zum Erstellen von Extrakt-, Transformations- und Ladeworkflows (ETL) und zum Nachverfolgen und Wiederholen von Aufträgen über eine grafische Benutzeroberfläche (GUI). Data Factory hat einen Minimalabstand von ca. 5 Minuten vom Zeitpunkt der Aufnahme bis zur Persistenz. Wenn Ihr Überwachungssystem diese Verzögerung tolerieren kann, sollten Sie diese Alternative in Betracht ziehen.

Szenariodetails

Organisationen stellen häufig verschiedene und umfangreiche Technologien bereit, um Geschäftsprobleme zu lösen. Diese Systeme und Benutzergeräte generieren große Mengen an Telemetriedaten.

Diese Architektur basiert auf einem Anwendungsfall für die Medienbranche. Beim Medienstreaming für die Live- und On-Demand-Wiedergabe von Videos müssen Anwendungsprobleme in Quasi-Echtzeit erkannt und behoben werden. Für dieses Echtzeitszenario müssen Organisationen einen umfangreichen Telemetriedatensatz sammeln, wofür eine skalierbare Architektur erforderlich ist. Nachdem sie Daten gesammelt haben, müssen sie andere Arten von Analysen durchführen, z. B. KI und Anomalieerkennung, um Probleme in einem so großen Dataset effizient zu identifizieren.

Wenn große Technologien bereitgestellt werden, generieren system- und Benutzergeräte, die mit ihnen interagieren, massive Mengen an Telemetriedaten. In herkömmlichen Szenarien analysieren Organisationen diese Daten über ein Data Warehouse-System, um Erkenntnisse zu generieren, die Managemententscheidungen unterstützen. Dieser Ansatz kann in einigen Szenarios funktionieren, ist aber für Anwendungsfälle mit Streamingmedien nicht dynamisch genug. Um dieses Problem zu lösen, benötigen Organisationen Echtzeiteinblicke in die Telemetriedaten, die von Servern, Netzwerken und Benutzergeräten erzeugt werden. Überwachungssysteme erkennen häufig Störungen und Fehler, aber die Erkennung in nahezu Echtzeit ist schwierig. Diese Architektur konzentriert sich auf die Lösung dieses Problems.

In einer Livestreaming- oder Video-on-Demand-Einstellung generieren Systeme und verschiedene Clients wie mobile Geräte, Desktops und Fernsehgeräte Telemetriedaten. Die Lösung übernimmt die Rohdaten und ordnet den Kontext jedem Datenpunkt zu. Kontextbeispiele umfassen Dimensionen wie Geografie, Benutzerbetriebssystem, Inhalts-ID und Netzwerkanbieter für die Inhaltsübermittlung. Das System sammelt, transformiert und speichert unformatierte Telemetrie in einem Fabric-Ereignishaus zur Analyse. KI-Tools können die Daten interpretieren und die manuellen Prozesse der Beobachtung und Warnung automatisieren. Der Datenaktivator liest Daten aus dem Real-Time Intelligence-Hub, um interaktive Dashboards anzuzeigen und Warnungen auszulösen.

Überlegungen

Diese Überlegungen bilden die Säulen des Azure Well-Architected Framework, einer Reihe von Leitprinzipien, die Sie zur Verbesserung der Qualität eines Workloads verwenden können. Weitere Informationen finden Sie unter Well-Architected Framework.

Zuverlässigkeit

Zuverlässigkeit trägt dazu bei, dass Ihre Anwendung die Verpflichtungen erfüllen kann, die Sie für Ihre Kunden vornehmen. Weitere Informationen finden Sie unter Prüfliste zur Entwurfsüberprüfung für Zuverlässigkeit.

Geschäftskritische Anwendungen müssen auch bei störenden Ereignissen wie Azure-Region oder Netzwerkausfällen im Content Delivery Network aktiv bleiben. Die folgenden Strategien, zwei primäre Strategien und eine Hybridstrategie, unterstützen das Erstellen von Redundanz in Ihrem System:

  • Aktiv/aktiv: Doppelter Code und Funktionen werden ausgeführt. Beide Systeme können während eines Ausfalls einspringen.

  • Aktiv/Standby: Nur ein Knoten dient als aktiver oder primärer Knoten. Der andere Knoten bleibt bereit, zu übernehmen, wenn der primäre Knoten fehlschlägt.

  • Gemischt: Einige Komponenten oder Dienste verwenden die aktive Konfiguration, während andere die Active-Standby-Konfiguration verwenden.

Nicht alle Azure-Dienste verfügen über integrierte Redundanz. Beispielsweise führt Azure Functions eine Funktions-App nur in einer bestimmten Region aus. Weitere Informationen zur Implementierung von Strategien, je nachdem, wie Sie Funktionen auslösen (HTTP im Vergleich zum Veröffentlichen/Abonnieren), finden Sie unter Zuverlässigkeit in Azure Functions.

Fabric unterstützt zonenredundante Verfügbarkeitszonen, in denen Ressourcen automatisch über Zonen repliziert werden, ohne dass Sie sie konfigurieren müssen. Weitere Informationen zur regionsübergreifenden Replikation für in OneLake gespeicherte Daten finden Sie unter Zuverlässigkeit in Fabric. Sie können dieses Feature basierend auf Ihren Anforderungen aktivieren oder deaktivieren.

Kostenoptimierung

Die Kostenoptimierung konzentriert sich auf Möglichkeiten, unnötige Ausgaben zu reduzieren und die betriebliche Effizienz zu verbessern. Weitere Informationen finden Sie unter Prüfliste für die Überprüfung der Kostenoptimierung.

Die Kosten dieser Architektur hängen von der Anzahl eingehender Telemetrieereignisse, der Speicherung der rohen Telemetrie in Blob Storage- und Fabric-Ereignishäusern und entweder einem dedizierten Preismodell oder einem kostenpflichtigen Preismodell für Fabric-Kapazität ab.

Verwenden Sie den Azure-Preisrechner, um Ihre Gesamtkosten zu schätzen.

Leistungseffizienz

Die Leistungseffizienz bezieht sich auf die Fähigkeit Ihrer Workload, die Anforderungen der Benutzer effizient zu erfüllen. Weitere Informationen finden Sie unter Prüfliste zur Entwurfsüberprüfung für die Leistungseffizienz.

Je nach Skalierung und Häufigkeit eingehender Telemetrie kann das Streaming in Fabric Leistungseinschränkungen aufweisen. Diese Einschränkungen ergeben sich in der Regel aus den folgenden Faktoren:

  • Kaltstart: Serverlose Aufrufe erfordern Zeit zum Planen und Einrichten der Umgebung, bevor die Funktion ausgeführt wird. Diese Einrichtung dauert bis zu ein paar Sekunden.

  • Häufigkeit der Anforderungen: Wenn beispielsweise 1.000 HTTP-Anforderungen eingehen, aber nur ein Singlethread-Server verfügbar ist, kann das System nicht alle Anforderungen gleichzeitig verarbeiten. Um sie effizient zu verarbeiten, müssen Sie horizontal skalieren, indem Sie weitere Server bereitstellen.

  • Eventstream-Initialisierungsverzögerung: Wenn neue Datenquellen aktiviert werden, können Fabric-Eventstream-Pipelines Latenzen auslösen. Diese Verzögerung ähnelt einem Kaltstart. Obwohl es kurz ist, kann es sich auf Latenz-sensible Szenarien auswirken.

  • Hochfrequenzdatenblitze: Wenn Tausende von Telemetrieereignissen gleichzeitig eingehen, verarbeitet eine einzelne Eventstream-Konfiguration sie möglicherweise nicht gleichzeitig. Um die Reaktionsfähigkeit in Echtzeit aufrechtzuerhalten, müssen Sie Eventstream-Pipelines skalieren und Routingregeln für mehrere Ziele optimieren.

Verwenden Sie dedizierte Kapazitätsarbeitsbereiche für Fabric-SKUs, um diese Probleme zu beheben. Diese Vorgehensweise bietet folgende Vorteile:

  • Stellt eine konsistente Leistung sicher, indem Initialisierungsverzögerungen entfernt werden

  • Unterstützt die horizontale Skalierung von Eventstream-Pipelines zur Behandlung gleichzeitiger Aufnahme- und Transformationsworkloads

Weitere Informationen finden Sie unter Fabric Real-Time Intelligence.

Beitragende

Microsoft verwaltet diesen Artikel. Die folgenden Mitwirkenden haben diesen Artikel geschrieben.

Hauptautoren:

Andere Mitwirkende:

Um nicht-öffentliche LinkedIn-Profile anzuzeigen, melden Sie sich bei LinkedIn an.

Nächste Schritte