Copilot Studio 中的分析頁面提供了對 Agent 在分析工作階段中整體效率的總結深入解析。 此頁面分為多個核心區域,分別聚焦於不同效能情境。 該頁面同時顯示三大區域:概覽區提供 Agent 關鍵效能指標 (KPI) 的高階概覽;節省區分析 Agent 或其工具所創造的時間與成本效益;摘要區則提供 Agent 效能的關鍵 Analytics Insights。
如需相關資訊:
- 摘要區與概覽區詳見分析概覽
- 節省區域,請參閱分析 Agent 節省時間和成本
在審查和提高交談式 Agent 效率時,需要專注於六個核心領域:
- 主題:主題功能透過將使用者提問歸類至 AI 建議的分類中,協助您獲得 Analytics Insights。
- 交談結果:了解交談的最終結果有助於您開始辨識 Agent 的優異表現與待改進之處。
- Agent:查看呼叫量指標、成功率以及子 Agent 與關聯 Agent 的現狀。
- 生成式回答率與品質:理解 Agent 何時難以回答使用者提問,以及其如何運用知識來源,有助於您找出提升 Agent 回答率與品質的方法.
- 工具使用:了解工具的使用頻率與成功率,有助於判斷這些工具對使用者是否實用且有效。
- 滿意度:檢視使用者意見反應有助於您識別新的使用情境與問題,並直接根據使用者的需求進行改進。
您可以查看過去 90 天內發生的事件的分析。
交談結果
交談結果區塊顯示一張圖表,追蹤您 Agent 與使用者之間每次工作階段的結果類型。
該圖表無論是以堆疊直方圖或堆疊面積圖顯示,皆以顏色編碼及類型堆疊的結果相對數量視覺化呈現。 已解決、升級、放棄與未參與各項資料點的顏色分別表示。 縱軸表示工作階段次數。
要查看針對某個數據點 (特定日期) 的個別結果指標,請將滑鼠移到代表您感興趣當天某個結果顏色的區域 (例如青綠色代表被遺棄)。 在該範例中,11 月 24 日有 90 次中止的工作階段,佔所有會談結果的 35.6%。
在圖表下方的圖例中,將滑鼠移到任一結果標籤上,即可在圖表中突出該結果。
選擇 (開啟或關閉) 一個或多個圖例標籤,以顯示或隱藏堆疊面積圖的結果。 這麼做可以讓剩下的結果更清楚,當:
- 個別的結果線看起來非常接近。
- 您想更清楚地看到趨勢線是正向還是負向,但圖表上堆疊的結果總和正在壓平這些趨勢線。
注意
當您以這種方式從圖表中移除一個結果時,您就把該結果從更大的顯示結果集區中移除了。 移除顯示結果會改變剩餘結果在集區中顯示的百分比值,因為這改變了比率的分母。
以下範例中,升級與未投入標籤已從圖表中移除。 提示顯示 11 月 23 日有 95 次放棄工作階段,佔圖表中剩餘可見結果的 60.5% (已解決 + 放棄結果總和)。
若要下載交談結果資料 (圖表中視覺化的資料),請點選選單圖示
並選擇下載 CSV。
注意
如果您下載時有結果從圖表中移除,他們的資料就不會出現在 CSV 裡。
若要開啟包含詳細對話結果資訊的側面板,請選擇查看圖表上的詳細資訊。 對話成果側面板包括:
- 一個圓餅圖分解工作階段結果,顯示已解決、升級及放棄結果的相對權重 (以百分比表示)。
- 一張堆疊長條圖,顯示所有已解決工作階段結果中,已解決 (已確認) 與已解決 (隱含) 結果原因的相對權重 (以百分比表示)。
- 一個堆疊條狀圖,顯示系統意圖、系統非預期及使用者請求結果原因的相對權重 (百分比),描述所有升級工作階段結果。
- 導致每個結果的主要議題。
注意
若要查看包含原始計數資訊的工具提示,請將滑鼠移至任何圓餅圖或堆疊條形圖區段上。
工作階段分為以下兩種狀態之一:
未參與:當使用者與您的 Agent 互動,或 Agent 向使用者發送主動訊息時,工作階段就開始了。 工作階段會在未參與狀態下開始。
互動中:使用者正主動與 Agent 進行互動。 根據 Agent 的協調模式,其行為模式存在差異。
傳統協調流程:當下列其中一個主題被觸發時,工作階段即進入活動狀態:
- 使用者直接觸發的自訂主題
- 升級主題
- 後援主題
- 交談增強主題
生成式 AI 協調流程:當使用者直接觸發計畫並包含以下任一元素時,工作階段即進入互動狀態:
- 非系統主題
- 升級主題
- 後援主題
- 知識來源
- 工具
參與式工作階段會產生以下結果之一:
| 結果類別 | 結果 | Description |
|---|---|---|
| 已解決 | 工作階段成功結束。 已解決工作階段分為兩種類型:確認解決與隱含解決。 | |
| 已解決 (確認) | 已確認解決:觸發交談結束主題,且使用者確認互動成功時,將工作階段視為已確認解決。 | |
| 已解決 (默許) | 隱含解決:當工作階段未經使用者確認,而是基於 Agent 的邏輯完成時,即視為隱含解決。 造成已隱含解決狀態的原因取決於 Agent 使用的是傳統協調流程還是生成式協調流程: 傳統協調流程:如果觸發交談結束主題,且使用者沒有提供確認就讓工作階段逾時,則將工作階段視為已隱含解決。 - 生成式 AI 協調流程:當工作階段逾時且沒有剩餘的有效計畫時,工作階段會視為已隱含解決。 使用中方案是正在等待使用者輸入的方案。 |
|
| 已上呈 | 呈報:當觸發呈報主題或執行轉接專員 節點時,工作階段會結束並視為呈報 (目前分析工作階段會結束,無論交談是否轉接給真人專員)。 升級工作階段分為三種類型:系統意圖、系統非意圖及使用者請求。 | |
| 系統預定 | 由製作者設定的自動化商務規則,會使工作階段自動升級。 升級是對話中預期的結果,不需要調查或改變。 範例:用戶想將超過 25,000 美元轉帳給第三方。 這個金額超過商務規則的門檻,工作階段會自動升級。 |
|
| 系統非預期 | 當一個工作階段超過製作者設定的一個或多個閾值時,會自動發生升級。 通常,這表示使用者在對話中卡住,需要協助。 範例:某個工作階段在三次執行特定任務失敗後被升級。 |
|
| 使用者要求 | 工作階段被升級是因為對話中有明確的使用者請求。 範例:使用者輸入 |
|
| 已放棄 | 當參與工作階段在 30 分鐘後逾時且未達到解決或呈報狀態時,工作階段會結束並視為已放棄。 |
您亦可透過工具程式碼編輯器,使用 conversationOutcome 參數設定工具的結果。 例如,conversationOutcome: ResolvedConfirmed 表示確認成功,或 conversationOutcome: ResolvedImplied 表示隱含成功。
請參閱指導文件《測量 Copilot 參與度》,以獲取有關如何衡量和提高參與度的建議和最佳做法。
Agent
Agent 清單會顯示主 Agent 所連接 Agent 及子 Agent 的高階量度、效能與狀態指標。 清單中的類型欄位會標示所列 Agent 與主 Agent 的關聯類型。 若 Agent 為子 Agent,其類型為 Child。 已連接 Agent 的類型標示反映其建立位置 (例如 Copilot Studio、Azure AI Foundry)。 每位列出 Agent 的通話指標描述主 Agent 向連接 Agent 或子 Agent 發起的通話量。
成功率反映成功完成的通話比例 (佔總通話數的百分比)。
狀態顯示每個連接 Agent 與子 Agent 的個別管理狀態。
預設情況下,Agent 清單會顯示主 Agent 前五名 (5) 的連接 Agent 與子 Agent,依總提問數由高至低排序。 若 Agent 數量超過五個,請點選查看全部以顯示所有 Agent。
注意
查看全部按鈕僅在主 Agent 擁有超過五個連接或子 Agent 時顯示。
產生的回答率和品質 (預覽版)
重要
本文包含 Microsoft Copilot Studio 預覽版文件,內容可能有所變更。
預覽功能不供生產時使用,而且可能功能受限。 這些功能是在正式發行前先行推出,讓您能夠搶先體驗並提供意見反應。
如果您要建置生產就緒 Agent,請參閱 Microsoft Copilot Studio 概觀。
透過生成式回答功能,您的 Agent 可運用 AI,依據知識來源與您提供的指令,為用戶查詢生成回應。 然而,您的 Agent 可能無法回答所有使用者查詢。 生成的答覆率與品質區段追蹤、整理並分析未解答的查詢與答覆品質,為您提供提升 Agent 答覆表現的指引。
答覆率顯示所選時間段內已解答與未解答問題的數量,以及隨時間推移的百分比變化。
答覆品質透過 AI 衡量答覆的品質。 Copilot Studio 會抽樣分析已回覆問題,評估完整性、相關性及回應的實證程度等品質指標。 如果答案符合設定標準,Copilot Studio 會將其標記為良好品質。 Copilot Studio 會將不符合該標準的答案標記為低品質。 針對品質不佳的回答,Copilot Studio 會說明評級原因,並顯示各類別回答所佔比例。
將滑鼠移到圖表中任意一條條狀的區塊上,即可查看單一原因對品質良好或品質差的相對權重。 提示同時會顯示抽樣的答案數量,以得出計算出的百分比值。
在圖表下方的圖例中,將游標移至任一品質標籤原因上,即可在圖表中反白顯示該原因。
您可透過讚與不讚圖示
對此區塊提供意見反應。 請使用送交意見反應至 Microsoft面板新增評論並分享相關檔案。 透過提供這類描述性意見反應,我們能攜手持續改進產品。
- 在送交意見反應至 Microsoft 面板中,請以自然語言描述您的喜好或不滿之處 (具體內容取決於您開啟面板時選取的圖示)。
- 選擇是否分享提示、生成的回應、相關內容範例及額外記錄檔。
- 選取送出。
點選檢視詳細資訊可開啟側邊面板,顯示您所選時間區間內的問題解答率、知識來源使用率及錯誤率。 您可以使用這些圖表來確定哪些知識來源可以很好地幫助使用者,哪些知識來源需要改進。
若您的 Agent 包含子 Agent,請在側邊面板中選擇:全部以同時顯示主 Agent 與子 Agent 的指標,主 Agent 僅顯示主 Agent 的相關指標,子 Agent 僅顯示子Agent的相關指標。
- 未回應問題顯示 Agent 未回覆使用者查詢的原因。
- 知識來源使用情況會顯示使用 Agent 有權存取的每個知識來源的工作階段百分比。
- 所有來源顯示各知識來源所處理問題的百分比。
- 錯誤顯示各知識來源類型 (例如 SharePoint) 中,導致知識相關錯誤的查詢百分比。
在所有來源下,若需檢視任一列出知識來源的詳細資訊,請選取個別來源。 工具提示包含:
- 引用此知識來源的總問題數量,以及喜歡與不喜歡的反應數。
- 一個堆疊條形圖,顯示引用此知識來源的問題中,回應品質相對權重的細分情況。 將游標懸停於條形圖的任何區段,即可查看該區段的相對權重值及計算該值所採樣的問題數量。
工具使用
工具使用區段呈現圖表與指標,追蹤工具啟動頻率隨時間的變化,以及 Agent 成功使用這些工具的次數。 它還顯示了您的 Agent 使用每種工具的頻率,以及成功使用呼叫工具的百分比趨勢指標。
圖表顯示分析頁面頂端定義日期範圍內使用頻率最高的五項工具。
在圖表下方的圖例中,將滑鼠移到任一工具上,即可在圖表中突出該工具。
點選圖表中的查看詳細資訊可開啟側邊面板,顯示指定期間內所有使用工具的清單及趨勢指標。 在工具使用面板中,可顯示各工具所處理問題比例的計算結果。 若您的 Agent 有子 Agent,可選擇同時顯示主 Agent 與子 Agent (全部)、僅顯示主 Agent,或僅顯示子 Agent 的計算結果。
滿意度
滿意區段顯示從 Agent 回應及工作階段調查結果收集的使用者意見反應。 滿意度分為兩個較小的區段:一個反應區段,用於顯示針對特定 Agent 回應的讚許、反對意見反應;另一個問卷結果區段,用於顯示整個工作階段的客戶滿意度 (CSAT) 分數。
意見反應資料儲存在 Dataverse 的交談文字記錄資料表中。 如需支援此功能的頻道清單,請參閱功能詳細資料。
回應
反應區段顯示從 Agent 回應及工作階段調查結果收集的使用者意見反應。 圖表會統計使用者對每個從您的 Agent 收到的回應,所選取的「讚許」(正面) 或「反對」(負面) 按鈕的次數。
使用者提供反應後,可留下評論。 欲檢視評論,請點選查看詳細資訊。 在反應面板中,選擇全部、喜歡或不喜歡以篩選評論。
注意
- 發佈至 Microsoft 365 Copilot 通道的 Agent 不支援反應功能。
- 檢視評論需具備機器人交談記錄檢視器資訊安全角色。
欲檢視各反應對應的使用者查詢與 Agent 回應,請點選評論旁的切換按鈕。 分析頁面最多可儲存 28 天的使用者查詢與 Agent 回應紀錄。
使用者意見反應預設為開啟狀態。 如果需要,您可以關閉此功能。 您也可以新增或編輯有關如何使用其意見反應的免責聲明:
打開 Agent,然後前往設定,找到使用者意見反應區段。
開啟或關閉讓使用者在使用此 Agent 時提供意見反應。
新增或編輯免責聲明,以便使用者知道他們的意見反應是如何使用的。 您也可以提供隱私資訊和提示。
問卷結果
調查結果區段顯示了一個圖表和指標,用於追蹤客戶回應工作階段結束時的調查請求的工作階段的平均客戶滿意度 (CSAT) 分數。
注意
1 和 2 的分數對應到不滿意,分數 3 視為普通,分數 4 和 5 對應到滿意。
選取查看詳細資料,以查看報告設定時間範圍內的滿意度分數趨勢。