異常診斷與根本原因分析

適用於：✅Microsoft網狀架構✅✅

Kusto 查詢語言 （KQL） 具有內建 的異常偵測和預測 功能，可檢查異常行為。 偵測到這類模式之後，就可以執行根本原因分析（RCA），以減輕或解決異常狀況。

診斷程式很複雜且冗長，並由領域專家完成。 流程包括：

• 從不同時間範圍擷取和聯結更多數據
• 尋找多個維度上值分佈的變更
• 繪製更多變數圖表
• 以領域知識和直覺為基礎的其他技術

由於這些診斷案例很常見，因此機器學習外掛程式可讓您更輕鬆地進行診斷階段，並縮短 RCA 的持續時間。

下列三個 Machine Learning 外掛程式都會實作叢集演算法： autocluster、 basket和 diffpatterns。 autocluster和 basket 外掛程式會叢集單一記錄集，而diffpatterns外掛程式會叢集兩個記錄集之間的差異。

單一記錄集的分群处理

常見案例包含特定準則所選取的數據集，例如：

• 顯示異常行為的時段
• 高溫裝置讀數
• 持續時間長命令
• 熱門消費使用者

您想要快速且簡單的方式來尋找資料中的常見模式（區段）。 模式是數據集的子集，其記錄在多個維度上共用相同的值（類別數據行）。

下列查詢會建置並顯示一周期間服務例外狀況的時間序列，以十分鐘間隔為單位：

let min_t = toscalar(demo_clustering1 | summarize min(PreciseTimeStamp));  
let max_t = toscalar(demo_clustering1 | summarize max(PreciseTimeStamp));  
demo_clustering1
| make-series num=count() on PreciseTimeStamp from min_t to max_t step 10m
| render timechart with(title="Service exceptions over a week, 10 minutes resolution")

服務例外狀況計數會與整體服務流量相互關聯。 您可以清楚地看到工作日的每日模式，星期一到星期五。 服務例外狀況計數在中午增加，夜間計數會下降。 週末可見穩定低計數。 您可以使用 時間序列異常偵測來偵測例外狀況尖峰。

數據的第二個尖峰發生在週二下午。 下列查詢可用來進一步診斷和核實其是否為顯著峰值。 此查詢會以 1 分鐘的間隔和 8 小時的較高解析度重新繪製尖峰周圍的圖表。然後，您可以研究其邊界。

let min_t=datetime(2016-08-23 11:00);
demo_clustering1
| make-series num=count() on PreciseTimeStamp from min_t to min_t+8h step 1m
| render timechart with(title="Zoom on the 2nd spike, 1 minute resolution")

您會看到從 15:00 到 15:02 的一個狹窄的兩分鐘尖峰。 在下列查詢中，計算此兩分鐘視窗中的例外狀況：

let min_peak_t=datetime(2016-08-23 15:00);
let max_peak_t=datetime(2016-08-23 15:02);
demo_clustering1
| where PreciseTimeStamp between(min_peak_t..max_peak_t)
| count

在以下查詢中，從 972 個中抽取 20 個例外：

let min_peak_t=datetime(2016-08-23 15:00);
let max_peak_t=datetime(2016-08-23 15:02);
demo_clustering1
| where PreciseTimeStamp between(min_peak_t..max_peak_t)
| take 20

雖然只有不到一千個例外狀況，但還是很難找到常見的區段，因為每個數據行中都有多個值。 您可以使用 autocluster() 外掛程式來立即擷取一份常見區段的簡短清單，並在尖峰的兩分鐘內尋找有趣的叢集，如下列查詢所示：

let min_peak_t=datetime(2016-08-23 15:00);
let max_peak_t=datetime(2016-08-23 15:02);
demo_clustering1
| where PreciseTimeStamp between(min_peak_t..max_peak_t)
| evaluate autocluster()

您可以從上述結果中看到，最佔主導地位的區段包含 65.74% 總計例外狀況記錄和共用四個維度。 下一個區段比較不常見。 它僅包含全部記錄的 9.67%，並且共享三個維度。 其他區段也比較不常見。

Autocluster 會使用專屬演算法來採礦多個維度，並擷取有趣的區段。 「有趣」表示每個區段都有記錄集和功能集的重要涵蓋範圍。 區段也會不同，這表示每個區段都與其他區段不同。 其中一或多個區段可能與 RCA 程序相關。 若要將區段檢閱和評量降到最低，自動叢集只會擷取小型區段清單。

您也可以如以下查詢所示使用 basket() 外掛程式。

let min_peak_t=datetime(2016-08-23 15:00);
let max_peak_t=datetime(2016-08-23 15:02);
demo_clustering1
| where PreciseTimeStamp between(min_peak_t..max_peak_t)
| evaluate basket()

購物籃採用 「Apriori」 演算法進行項目集挖掘。 它會擷取記錄集涵蓋範圍高於臨界值的所有區段（預設值 5%）。 您可以看到已使用類似區段來擷取更多區段，例如區段 0、1 或 2、3。

這兩個外掛程式都強大且易於使用。 其限制是，它們以未監督且無標籤的方式將單一記錄集進行叢集。 目前還不清楚擷取的模式是否描述選取的記錄集、異常記錄或全域記錄集的特性。

對兩個記錄集之間的差異進行分類分析

diffpatterns()外掛程式克服了autocluster和basket的限制。 Diffpatterns 會取得兩個記錄集，並擷取不同的主要區段。 一組通常會包含正在調查的異常記錄集。 一個由 autocluster 和 basket 分析。 另一個集合包含作為基準的參考記錄集。

在下列查詢中， diffpatterns 會在尖峰的兩分鐘內尋找有趣的叢集，這與基準內的叢集不同。 當尖峰啟動時，基準視窗會定義為15：00之前的8分鐘。 您可以新增二進位資料行 (AB)，並指定特定記錄是屬於基準集合或異常集合。 Diffpatterns 會實作監督式學習演算法，其中兩個類別標籤是由異常與基準旗標 （AB） 所產生。

let min_peak_t=datetime(2016-08-23 15:00);
let max_peak_t=datetime(2016-08-23 15:02);
let min_baseline_t=datetime(2016-08-23 14:50);
let max_baseline_t=datetime(2016-08-23 14:58); // Leave a gap between the baseline and the spike to avoid the transition zone.
let splitime=(max_baseline_t+min_peak_t)/2.0;
demo_clustering1
| where (PreciseTimeStamp between(min_baseline_t..max_baseline_t)) or
        (PreciseTimeStamp between(min_peak_t..max_peak_t))
| extend AB=iff(PreciseTimeStamp > splitime, 'Anomaly', 'Baseline')
| evaluate diffpatterns(AB, 'Anomaly', 'Baseline')

最佔主導地位的區段是 所擷取的 autocluster相同區段。 在兩分鐘的異常視窗上，其涵蓋範圍也是 65.74%。 不過，其八分鐘基準窗口的涵蓋範圍只有 1.7%。 差異為 64.04%。 這種差異似乎與異常尖峰有關。 若要確認此假設，下列查詢會將原始圖表分割成屬於此有問題的區段的記錄，以及來自其他區段的記錄。

let min_t = toscalar(demo_clustering1 | summarize min(PreciseTimeStamp));  
let max_t = toscalar(demo_clustering1 | summarize max(PreciseTimeStamp));  
demo_clustering1
| extend seg = iff(Region == "eau" and ScaleUnit == "su7" and DeploymentId == "b5d1d4df547d4a04ac15885617edba57"
and ServiceHost == "e7f60c5d-4944-42b3-922a-92e98a8e7dec", "Problem", "Normal")
| make-series num=count() on PreciseTimeStamp from min_t to max_t step 10m by seg
| render timechart

此圖表讓我們看到，週二下午的尖峰是因為使用 diffpatterns 外掛程式發現來自此特定區段的例外狀況。

總結

Machine Learning 外掛程式在許多情境中都很有幫助。 autocluster 和 basket 實作了非監督式學習演算法，並且很容易使用。 Diffpatterns 會實作受監督式學習演算法，雖然較為複雜，但它對於擷取 RCA 的差異區段更為強大。

這些外掛程式會在即席情況和自動接近即時的監視服務中以互動方式進行使用。 時間序列異常偵測之後進行診斷過程。 此程式已高度優化，以符合必要的效能標準。