本文說明如何在 Real-Time Intelligence 中設定異常偵測,以自動識別 Eventhouse 資料表中的異常模式和異常值。 系統提供建議的模型,並允許您透過自動化操作設定持續監控。
主要功能包括:
- 模型建議:為您的資料建議最佳演算法和參數。
- 互動式異常探索: 可視化檢測到的異常並調整模型靈敏度。
- 持續監控:透過自動通知設定即時異常偵測。
- 使用新數據重新分析: 當新數據到達時更新您的模型以提高準確性。
這很重要
這項功能目前處於預覽階段。
先決條件
- 具備 Microsoft Fabric 功能的 工作區容量
- 工作區中管理員、參與者或成員的角色
- 工作區中的 Eventhouse 配有 KQL 資料庫
- 在相同 Eventhouse 上啟用的 Python 外掛程式
- 若要啟用外掛程式,請導覽至您的 Eventhouse。
- 在上方工具列中,選取 [外掛程式] ,然後啟用 Python 語言延伸模組。
- 選取 Python 3.11.7 DL 外掛程式,然後選取 完成。
備註
- 請確定您的 Eventhouse 資料表包含足夠的歷程記錄資料,以改善模型建議和異常偵測準確度。 例如,每天有一個資料點的資料集需要幾個月的資料,而每秒有一個資料點的資料集可能只需要幾天。
- 此功能適用於提供 Microsoft Fabric 的所有區域。
如何設定異常偵測
從 Eventhouse 資料表啟動異常偵測
您可以透過兩種方式啟動異常偵測:
從 即時(Real-Time)集線器:
選取左側導覽窗格中的 Real-Time 集線器 。
找出您要分析異常的資料表, 然後執行下列 其中一個步驟:
選擇 ⋯(三個點)以開啟表格的功能區選單,然後選取異常偵測。
選取表格以開啟詳細資料頁面。 在上方工具列中,選取 [ 異常偵測]。
在 [ 異常偵測 ] 頁面上,針對 [ 儲存至 ],選取下拉式清單,然後選取 [ 建立偵測器]。
在 [建立異常偵測器] 頁面上,選取您的 Fabric 工作區,輸入異常偵測器的名稱,然後選取 [建立]。
現在,繼續到 設定分析的輸入資料行 區段,但略過設定 來源,因為已在 Real-Time 樞紐中選取來源。 從設定 [要監視的值 ] 區段開始。
從 「建立」 按鈕:
在 Fabric 首頁中,選取省略符號 (...) 圖示,然後選取 [ 建立 ] 選項。
在 [建立] 窗格中,選取 [Real-Time Intelligence] 區段下的 [異常偵測]。
設定輸入資料行以進行分析
指定要分析的資料行,以及如何將資料分組。
在 [ 異常偵測 設定] 窗格中,選取您要分析的 資料來源 。 如果您使用 Real-Time 中樞,請略過來源的選取,並繼續設定要 監看的值 區段。
在 [ 選取來源 ] 窗格中,選擇您要分析的 Eventhouse 和資料表,然後選取 [ 新增]。
在組態窗格中,新增 [要監看的值 ] 欄,其中包含您要監視異常的數值資料。
備註
請確定選取的資料行包含數值,因為異常偵測僅支援數值資料。
選擇 [分組依據 ] 欄,以指定資料應如何分割以進行分析。 此資料行通常代表裝置、位置或其他邏輯群組等實體。
選取 時間戳 記 資料行,代表記錄每個資料點的時間。 此列對於時間序列異常偵測至關重要,可確保準確分析一段時間內的趨勢。
選取 [執行分析] 以開始自動化模型評估。
等待分析完成
系統會分析您的資料,以找出最佳的異常偵測模型。
這很重要
分析通常最多需要 4 分鐘,視您的資料大小而定,最多可以執行 30 分鐘。 您可以離開頁面,並在分析完成後重新簽入。
在分析期間,系統:
- 對資料表資料進行取樣以進行高效處理
- 測試多種異常檢測算法
- 評估不同的參數配置
- 識別特定資料模式的最有效模型
查看推薦的模型和異常
分析完成後,您可以檢閱結果並探索偵測到的異常。
選取您收到的通知,或導覽回資料表,然後選取 檢視異常結果,以開啟異常偵測結果。
結果頁面提供下列深入解析:
- 將您的資料可視化,並清晰突出顯示異常。
- 建議的演算法清單,依其對資料的有效性進行排名。
- 靈敏度設定用於調整偵測閾值。
- 在所選時間範圍內 偵測到的異常 的詳細表格。
使用模型選擇器比較不同推薦演算法的效能,並選擇最適合您需求的演算法。
調整 靈敏度 設定以精簡異常偵測結果:
- 選項包括低、中和高信賴度。
- 嘗試使用這些設定,以在偵測更多異常和減少誤報之間取得平衡。
與視覺效果和資料表互動,以深入瞭解偵測到的異常情況,並瞭解資料中的模式。
儲存 異常偵測裝置以保留您的組態,並在稍後再次查看。
將偵測到的異常發佈至 Real-Time Hub,以持續監控傳入資料。 您也可以設定下游動作,例如將警示傳送至 Activator。
透過檢閱和微調結果,您可以確保異常偵測設定針對您的特定使用案例進行最佳化。
使用新資料重新分析異常偵測模型
當您有新資料可用時,讓您的異常偵測模型保持最新狀態。
請遵循下列步驟,使用新資料重新分析模型:
- 導覽至您的異常偵測項目。
- 在 「編輯」 面板中,視需要修改任何先前填寫的欄位。
- 選取 [Run analysis] (執行分析)。 這會根據您更新的輸入觸發新的分析。
警告
重新分析會更新現有監控規則所使用的模型,這可能會影響下游動作。
探索異常偵測事件並設定警報
發布異常偵測結果後,你可以在 Real-Time 中心探索偵測到的異常,並設定警示以通知未來異常。 如需詳細資訊,請參閱:
限制與考量
請注意以下當前限制:
- 資料需求:充足的歷史資料可以提高模型推薦和準確性
- 每個異常偵測器只能支援單一模型組態。
在異常偵測器中執行多個作業
當您與異常偵測器互動時,Eventhouse 會在背景執行 Python 查詢,以支援即時分析。 這些作業包括:
- 執行異常偵測或其他類型的分析。
- 在建議的模型之間切換。
- 修改檢視的時間範圍或 ID。
- 透過設定警示,持續監視傳入資料是否有異常。
Eventhouse 最多支援八個並行查詢。 如果超過此限制,系統會重試查詢,但其他查詢不會排入佇列,而且可能會以無訊息方式失敗。 提供更清晰度的錯誤訊息正在開發中。
若要避免問題:
- 在開始新查詢之前,請先讓每個查詢完成。
- 如果效能看起來緩慢或無回應,請減少並發查詢的數量。
如需詳細資訊,請參閱 Python 外掛程式。
啟用 Python 外掛程式的等待時間
當您開始資料分析時,異常偵測器會自動在 Eventhouse 上啟用 Python 外掛程式。 啟用外掛程式最多可能需要一小時。 啟用後,分析會自動開始。
如需詳細資訊,請參閱 在 Real-Time Intelligence 中啟用 Python 外掛程式。
後續步驟
現在你已經設定好異常偵測,接下來你可以: