Anomaliediagnose für die Ursachenanalyse

Gilt für: ✅Microsoft Fabric

Kusto Query Language (KQL) verfügt über integrierte Anomalieerkennungs- und Prognosefunktionen , um auf anomales Verhalten zu überprüfen. Sobald ein solches Muster erkannt wurde, kann eine Ursachenanalyse (Root Cause Analysis, RCA) ausgeführt werden, um die Anomalie zu mindern oder aufzulösen.

Der Diagnoseprozess ist komplex und langwierig und wird von Domänenexperten durchgeführt. Der Prozess umfasst:

• Abrufen und Verknüpfen weiterer Daten aus verschiedenen Quellen für den gleichen Zeitrahmen
• Suchen nach Änderungen der Verteilung von Werten in mehreren Dimensionen
• Diagrammerstellung weiterer Variablen
• Andere Techniken, die auf Domänenwissen und Intuition basieren

Da diese Diagnoseszenarien üblich sind, stehen Machine Learning Plugins zur Verfügung, um die Diagnosephase zu vereinfachen und die Dauer des RCA zu verkürzen.

Alle drei der folgenden Machine Learning-Plug-Ins implementieren Clusteringalgorithmen: autocluster, , basketund diffpatterns. Die autocluster Und basket Plugins clustern einen einzelnen Datensatzsatz, und das diffpatterns Plug-In gruppiert die Unterschiede zwischen zwei Datensatzsätzen.

Clusterbildung eines einzelnen Datensatzes

Ein gängiges Szenario enthält ein Dataset, das anhand eines bestimmten Kriteriums ausgewählt wurde, z. B.:

• Zeitfenster, in dem anomales Verhalten angezeigt wird
• Hochtemperaturgerätelesungen
• Langzeitbefehle
• Top-Ausgaben-Benutzer

Sie möchten eine schnelle und einfache Möglichkeit, allgemeine Muster (Segmente) in den Daten zu finden. Muster sind eine Teilmenge des Datasets, deren Datensätze dieselben Werte über mehrere Dimensionen (kategorisierte Spalten) aufweisen.

Die folgende Abfrage erstellt und zeigt eine Zeitreihe von Dienstanomalien über den Zeitraum einer Woche in Zehn-Minuten-Intervallen an.

let min_t = toscalar(demo_clustering1 | summarize min(PreciseTimeStamp));  
let max_t = toscalar(demo_clustering1 | summarize max(PreciseTimeStamp));  
demo_clustering1
| make-series num=count() on PreciseTimeStamp from min_t to max_t step 10m
| render timechart with(title="Service exceptions over a week, 10 minutes resolution")

Die Anzahl der Dienstfehler korreliert mit dem gesamten Dienstverkehr. Sie können das tägliche Muster für Werktage, Montag bis Freitag, deutlich sehen. Es gibt einen Anstieg der Anzahl der Service-Ausnahmen zur Mittagszeit und einen Rückgang in der Nacht. Niedrige Zahlen sind am Wochenende sichtbar. Ausnahmespitzen können mithilfe der Anomalieerkennung von Zeitreihen erkannt werden.

Die zweite Spitze der Daten tritt am Dienstagnachmittag auf. Die folgende Abfrage wird verwendet, um weiter zu diagnostizieren und zu überprüfen, ob es sich um einen plötzlichen Anstieg handelt. Die Abfrage zeichnet das Diagramm in einer höheren Auflösung von acht Stunden und einminütigen Intervallen um den Punkt herum neu. Daraufhin können Sie die Ränder genauer betrachten.

let min_t=datetime(2016-08-23 11:00);
demo_clustering1
| make-series num=count() on PreciseTimeStamp from min_t to min_t+8h step 1m
| render timechart with(title="Zoom on the 2nd spike, 1 minute resolution")

Sie sehen eine kurze zweiminütige Spitze von 15:00 bis 15:02. Zählen Sie in der folgenden Abfrage die Ausnahmen in diesem zweiminütigen Fenster:

let min_peak_t=datetime(2016-08-23 15:00);
let max_peak_t=datetime(2016-08-23 15:02);
demo_clustering1
| where PreciseTimeStamp between(min_peak_t..max_peak_t)
| count

Beispiel für 20 Ausnahmen von 972 in der folgenden Abfrage:

let min_peak_t=datetime(2016-08-23 15:00);
let max_peak_t=datetime(2016-08-23 15:02);
demo_clustering1
| where PreciseTimeStamp between(min_peak_t..max_peak_t)
| take 20

Obwohl es weniger als tausend Ausnahmen gibt, ist es immer noch schwierig, allgemeine Segmente zu finden, da in jeder Spalte mehrere Werte vorhanden sind. Sie können das autocluster() Plug-In verwenden, um sofort eine kurze Liste allgemeiner Segmente zu extrahieren und die interessanten Cluster innerhalb der zwei Minuten der Spitzen zu finden, wie in der folgenden Abfrage dargestellt:

let min_peak_t=datetime(2016-08-23 15:00);
let max_peak_t=datetime(2016-08-23 15:02);
demo_clustering1
| where PreciseTimeStamp between(min_peak_t..max_peak_t)
| evaluate autocluster()

Aus den obigen Ergebnissen sehen Sie, dass das dominantste Segment 65,74% der gesamten Ausnahmedatensätze enthält und vier Dimensionen teilt. Das nächste Segment ist viel weniger verbreitet. Es enthält nur 9,67% der Datensätze und teilt drei Dimensionen. Die anderen Segmente sind noch weniger verbreitet.

Autocluster verwendet einen proprietären Algorithmus, um mehrere Dimensionen zu analysieren und interessante Segmente zu extrahieren. "Interessant" bedeutet, dass jedes Segment sowohl die Datensätze als auch den Merkmalsatz signifikant abdeckt. Die Segmente sind ebenfalls unterschiedlich, was bedeutet, dass sich jeder von den anderen unterscheidet. Mindestens eines dieser Segmente kann für den RCA-Prozess relevant sein. Um die Segmentüberprüfung und -bewertung zu minimieren, extrahiert autocluster nur eine kleine Segmentliste.

Sie können das Plugin auch in der folgenden Abfrage verwenden:

let min_peak_t=datetime(2016-08-23 15:00);
let max_peak_t=datetime(2016-08-23 15:02);
demo_clustering1
| where PreciseTimeStamp between(min_peak_t..max_peak_t)
| evaluate basket()

Basket implementiert den Algorithmus "Apriori" für den Item Set Mining. Es extrahiert alle Segmente, deren Abdeckung des Datensatzes über einem Schwellenwert liegt (Standard 5%). Sie können sehen, dass weitere Segmente mit ähnlichen Segmenten extrahiert wurden, z. B. Segmente 0, 1 oder 2, 3.

Beide Plug-Ins sind leistungsfähig und einfach zu bedienen. Ihre Einschränkung besteht darin, dass sie einen einzigen Datensatz in unbeaufsichtigter Weise ohne Etiketten gruppieren. Es ist unklar, ob die extrahierten Muster den ausgewählten Datensatzsatz, anomaliele Datensätze oder den globalen Datensatzsatz kennzeichnen.

Klassifizieren der Unterschiede zwischen zwei Datensätzen

Das diffpatterns() Plugin überwindet die Einschränkungen von autocluster und basket. Diffpatterns nimmt zwei Datensätze und extrahiert die Hauptsegmente, die unterschiedlich sind. Ein Satz enthält in der Regel den anomalen Datensatz, der untersucht wird. Eins wird von autocluster und basket analysiert. Der andere Satz enthält den Referenzdatensatz, die Basislinie.

In der folgenden Abfrage findet diffpatterns interessante Cluster innerhalb der zweiminütigen Spitze, die sich von den Clustern innerhalb der Baseline unterscheiden. Das Basiszeitfenster wird als die acht Minuten vor 15:00 Uhr definiert, als die Spitze begann. Sie erweitern um eine binäre Spalte (AB) und geben an, ob ein bestimmter Datensatz zur Basislinie oder zur Anomalienmenge gehört. Diffpatterns implementiert einen überwachten Lernalgorithmus, bei dem zwei Klassenbezeichnungen durch die anomale gegenüber der Basislinien-Flagge (AB) generiert wurden.

let min_peak_t=datetime(2016-08-23 15:00);
let max_peak_t=datetime(2016-08-23 15:02);
let min_baseline_t=datetime(2016-08-23 14:50);
let max_baseline_t=datetime(2016-08-23 14:58); // Leave a gap between the baseline and the spike to avoid the transition zone.
let splitime=(max_baseline_t+min_peak_t)/2.0;
demo_clustering1
| where (PreciseTimeStamp between(min_baseline_t..max_baseline_t)) or
        (PreciseTimeStamp between(min_peak_t..max_peak_t))
| extend AB=iff(PreciseTimeStamp > splitime, 'Anomaly', 'Baseline')
| evaluate diffpatterns(AB, 'Anomaly', 'Baseline')

Das dominante Segment ist dasselbe Segment, das von autocluster extrahiert wurde. Sein Abdeckungsgrad des zweiminütigen anomalen Fensters beträgt ebenfalls 65,74%. Die Abdeckung des achtminütigen Ausgangszeitfensters beträgt jedoch nur 1,7%. Der Unterschied beträgt 64,04%. Dieser Unterschied scheint mit der anomalen Spitze zusammenzuhängen. Um diese Annahme zu überprüfen, teilt die folgende Abfrage das ursprüngliche Diagramm in die Datensätze auf, die zu diesem problematischen Segment gehören, und Datensätze aus den anderen Segmenten.

let min_t = toscalar(demo_clustering1 | summarize min(PreciseTimeStamp));  
let max_t = toscalar(demo_clustering1 | summarize max(PreciseTimeStamp));  
demo_clustering1
| extend seg = iff(Region == "eau" and ScaleUnit == "su7" and DeploymentId == "b5d1d4df547d4a04ac15885617edba57"
and ServiceHost == "e7f60c5d-4944-42b3-922a-92e98a8e7dec", "Problem", "Normal")
| make-series num=count() on PreciseTimeStamp from min_t to max_t step 10m by seg
| render timechart

Dieses Diagramm ermöglicht es uns zu sehen, dass die Spitze am Dienstagnachmittag aufgrund von Ausnahmen von diesem bestimmten Segment war, die mithilfe des diffpatterns Plug-Ins ermittelt wurde.

Zusammenfassung

Die Machine Learning-Plug-Ins sind für viele Szenarien hilfreich. autocluster und basket implementieren einen unbeaufsichtigten Lernalgorithmus und sind einfach zu bedienen. Diffpatterns implementiert einen überwachten Lernalgorithmus und ist zwar komplexer, aber leistungsfähiger für die Extraktion von Differenzierungssegmenten für RCA.

Diese Plug-Ins werden interaktiv in Ad-hoc-Szenarien und in automatischen Echtzeitüberwachungsdiensten verwendet. Auf die Anomalieerkennung der Zeitreihen folgt ein Diagnoseprozess. Der Prozess ist hochoptimiert, um die erforderlichen Leistungsstandards zu erfüllen.