Diagnostyka anomalii na potrzeby analizy głównej przyczyny

Dotyczy: ✅Microsoft Fabric

Język zapytań Kusto (KQL) ma wbudowane funkcje wykrywania anomalii i prognozowania w celu sprawdzania nietypowego zachowania. Po wykryciu takiego wzorca można uruchomić analizę głównej przyczyny w celu ograniczenia lub rozwiązania anomalii.

Proces diagnostyki jest złożony i długotrwały i wykonywany przez ekspertów z dziedziny. Proces obejmuje:

• Pobieranie i dołączanie większej ilości danych z różnych źródeł dla tego samego przedziału czasu
• Wyszukiwanie zmian w rozkładie wartości w wielu wymiarach
• Wykresowanie większej liczby zmiennych
• Inne techniki oparte na wiedzy i intuicji domeny

Ponieważ te scenariusze diagnostyczne są typowe, dostępne są wtyczki do uczenia maszynowego z myślą o ułatwieniu fazy diagnostycznej i skróceniu czasu trwania analizy przyczyn źródłowych.

Wszystkie trzy z następujących wtyczek usługi Machine Learning implementują algorytmy klastrowania: autocluster, basketi diffpatterns. Wtyczki autocluster i basket klastrują jeden zestaw rekordów, a wtyczka diffpatterns klastruje różnice między dwoma zestawami rekordów.

Klastrowanie pojedynczego zestawu rekordów

Typowy scenariusz obejmuje zestaw danych wybrany przez określone kryteria, takie jak:

• Przedział czasu pokazujący nietypowe zachowanie
• Odczyty urządzeń o wysokiej temperaturze
• Polecenia o długim czasie trwania
• Użytkownicy z najwyższymi wydatkami

Potrzebujesz szybkiego i łatwego sposobu znajdowania typowych wzorców (segmentów) w danych. Wzorce to podzbiór zestawu danych, którego rekordy współdzielą te same wartości w wielu wymiarach (kolumny podzielone na kategorie).

Następujące zapytanie buduje i przedstawia szereg czasowy wyjątków serwisowych w okresie tygodnia, w przedziałach dziesięciominutowych.

let min_t = toscalar(demo_clustering1 | summarize min(PreciseTimeStamp));  
let max_t = toscalar(demo_clustering1 | summarize max(PreciseTimeStamp));  
demo_clustering1
| make-series num=count() on PreciseTimeStamp from min_t to max_t step 10m
| render timechart with(title="Service exceptions over a week, 10 minutes resolution")

Liczba wyjątków usługi jest skorelowana z ogólnym ruchem usługi. Można wyraźnie zobaczyć dzienny wzorzec dni roboczych, od poniedziałku do piątku. Odnotowuje się wzrost liczby wyjątków w usługach w południe i spadki liczby w nocy. Stałe niskie liczby są widoczne podczas weekendu. Skoki wyjątków można wykryć za pomocą wykrywania anomalii szeregów czasowych.

Drugi skok w danych występuje we wtorek po południu. Poniższe zapytanie służy do dalszej diagnostyki i sprawdzania, czy jest to gwałtowny wzrost. Zapytanie ponownie rysuje wykres wokół skoku w wyższej rozdzielczości ośmiu godzin w jednominutowych przedziałach. Następnie możesz zbadać granice wykresu.

let min_t=datetime(2016-08-23 11:00);
demo_clustering1
| make-series num=count() on PreciseTimeStamp from min_t to min_t+8h step 1m
| render timechart with(title="Zoom on the 2nd spike, 1 minute resolution")

Zobaczysz wąski skok trwający dwie minuty, od 15:00 do 15:02. W poniższym zapytaniu zlicz wyjątki w tym dwuminutowym oknie:

let min_peak_t=datetime(2016-08-23 15:00);
let max_peak_t=datetime(2016-08-23 15:02);
demo_clustering1
| where PreciseTimeStamp between(min_peak_t..max_peak_t)
| count

W poniższym zapytaniu wybierz 20 próbnych wyjątków z 972:

let min_peak_t=datetime(2016-08-23 15:00);
let max_peak_t=datetime(2016-08-23 15:02);
demo_clustering1
| where PreciseTimeStamp between(min_peak_t..max_peak_t)
| take 20

Mimo że istnieje mniej niż tysiąc wyjątków, nadal trudno jest znaleźć typowe segmenty, ponieważ w każdej kolumnie istnieje wiele wartości. Możesz użyć wtyczki autocluster(), aby natychmiast wyodrębnić krótką listę typowych segmentów i znaleźć interesujące klastry w przeciągu dwóch minut szczytu, jak pokazano w poniższym zapytaniu:

let min_peak_t=datetime(2016-08-23 15:00);
let max_peak_t=datetime(2016-08-23 15:02);
demo_clustering1
| where PreciseTimeStamp between(min_peak_t..max_peak_t)
| evaluate autocluster()

W powyższych wynikach widać, że najbardziej dominujący segment zawiera 65,74% wszystkich rekordów wyjątków i ma cztery wymiary wspólne. Następny segment jest znacznie mniej popularny. Zawiera tylko 9,67% spośród wszystkich rekordów i współdzieli trzy wymiary. Inne segmenty są jeszcze mniej powszechne.

Autocluster wykorzystuje zastrzeżony algorytm do eksploracji wielowymiarowych danych i wyodrębniania ciekawych segmentów. "Interesujące" oznacza, że każdy segment ma znaczne pokrycie zarówno zestawu rekordów, jak i zestawu funkcji. Segmenty są również rozbieżne, co oznacza, że każdy z nich różni się od innych. Co najmniej jeden z tych segmentów może być odpowiedni dla procesu analizy przyczyny źródłowej. Aby zminimalizować przegląd segmentów i ocenę, funkcja autoklastrowania wyodrębnia tylko małą listę segmentów.

Możesz również skorzystać z wtyczki basket(), jak pokazano w poniższym zapytaniu.

let min_peak_t=datetime(2016-08-23 15:00);
let max_peak_t=datetime(2016-08-23 15:02);
demo_clustering1
| where PreciseTimeStamp between(min_peak_t..max_peak_t)
| evaluate basket()

Koszyk implementuje algorytm "Apriori" na potrzeby analizy zestawów elementów. Wyodrębnia wszystkie segmenty, których pokrycie zestawu rekordów przekracza próg (domyślnie 5%). Widać, że więcej segmentów zostało wyodrębnionych z podobnymi segmentami, takimi jak segmenty 0, 1 lub 2, 3.

Obie wtyczki są wydajne i łatwe w użyciu. Ich ograniczenie polega na tym, że klasteruje pojedynczy zestaw rekordów w sposób nienadzorowany bez etykiet. Nie jest jasne, czy wyodrębnione wzorce scharakteryzują wybrany zestaw rekordów, nietypowe rekordy lub globalny zestaw rekordów.

Klastrowanie różnicy między dwoma zestawami rekordów

Wtyczka diffpatterns() przezwycięża ograniczenia autocluster i basket. Diffpatterns przyjmuje dwa zestawy rekordów i wyodrębnia główne segmenty, które są różne. Jeden zestaw zwykle zawiera nietypowy zestaw rekordów, który jest badany. Jeden z nich jest analizowany przez autocluster i basket. Drugi zestaw zawiera zestaw rekordów referencyjnych, punkt odniesienia.

W poniższym zapytaniu diffpatterns znajduje interesujące klastry w ciągu dwóch minut trwania szczytu, które różnią się od klastrów w odniesieniu do wartości bazowej. Czas bazowy jest definiowany jako osiem minut przed godziną 15:00, w momencie rozpoczęcia skoku. Rozszerzysz kolumnę binarną (AB) i określ, czy określony rekord należy do punktu odniesienia, czy też do nietypowego zestawu. Diffpatterns implementuje algorytm uczenia nadzorowanego, w którym dwie etykiety klas zostały wygenerowane przez anomalię w porównaniu z flagą punktu odniesienia (AB).

let min_peak_t=datetime(2016-08-23 15:00);
let max_peak_t=datetime(2016-08-23 15:02);
let min_baseline_t=datetime(2016-08-23 14:50);
let max_baseline_t=datetime(2016-08-23 14:58); // Leave a gap between the baseline and the spike to avoid the transition zone.
let splitime=(max_baseline_t+min_peak_t)/2.0;
demo_clustering1
| where (PreciseTimeStamp between(min_baseline_t..max_baseline_t)) or
        (PreciseTimeStamp between(min_peak_t..max_peak_t))
| extend AB=iff(PreciseTimeStamp > splitime, 'Anomaly', 'Baseline')
| evaluate diffpatterns(AB, 'Anomaly', 'Baseline')

Najbardziej dominującym segmentem jest ten sam segment, który został wyodrębniony przez autocluster. Pokrycie w anomalnym dwuminutowym oknie wynosi również 65,74%. Jednak jego pokrycie w ośmiominutowym oknie punktu odniesienia wynosi tylko 1,7%. Różnica wynosi 64,04%. Ta różnica wydaje się być związana z nietypowym wzrostem. Aby zweryfikować to założenie, następujące zapytanie dzieli oryginalny wykres na rekordy należące do tego problematycznego segmentu i rekordy z innych segmentów.

let min_t = toscalar(demo_clustering1 | summarize min(PreciseTimeStamp));  
let max_t = toscalar(demo_clustering1 | summarize max(PreciseTimeStamp));  
demo_clustering1
| extend seg = iff(Region == "eau" and ScaleUnit == "su7" and DeploymentId == "b5d1d4df547d4a04ac15885617edba57"
and ServiceHost == "e7f60c5d-4944-42b3-922a-92e98a8e7dec", "Problem", "Normal")
| make-series num=count() on PreciseTimeStamp from min_t to max_t step 10m by seg
| render timechart

Ten wykres pozwala nam zobaczyć, że wzrost we wtorek po południu był spowodowany wyjątkami z tego konkretnego segmentu, wykrytymi za pomocą wtyczki diffpatterns.

Podsumowanie

Wtyczki usługi Machine Learning są przydatne w wielu scenariuszach. autocluster i basket implementują algorytm uczenia nienadzorowanego i są łatwe w użyciu. Diffpatterns implementuje algorytm uczenia nadzorowanego i, choć bardziej złożony, jest bardziej efektywny do wyodrębniania segmentów różnicowania dla Analizy Przyczyn Pierwotnych.

Te wtyczki są używane interaktywnie w scenariuszach ad hoc i w automatycznych usługach monitorowania niemal w czasie rzeczywistym. Po wykryciu anomalii szeregów czasowych następuje proces diagnostyki. Proces jest wysoce zoptymalizowany pod kątem spełnienia niezbędnych standardów wydajności.