[本文章是發行前版本文件,且隨時可能變更。]
透過測試集的結果,您可以優化客服人員的行為,並驗證您的客服人員是否符合您的業務與品質要求。 你也可以多次執行測試集,隨著你提升代理人的表現來比較結果。
Copilot Studio 的測試結果可查閱 89 天。 若要儲存測試結果較長時間,請匯 出 結果為 CSV 檔案。
這很重要
本文包含 Microsoft Copilot Studio 預覽版文件,內容可能有所變更。
預覽功能不適用於生產環境,而且功能可能受到限制。 這些功能是在正式發行前先行推出,讓您能夠搶先體驗並提供意見反應。
如果您要建置生產就緒 Agent,請參閱 Microsoft Copilot Studio 概觀。
執行測試組
建立測試集後,你可以執行或重執行,以比較隨時間和迭代 的結果 。 測試可能需要幾分鐘完成。 你可以一次只做一個測試。
這很重要
使用使用者驗證的代理程式評估需要透過 Microsoft Copilot Studio 連接器存取。 如果你的管理員關閉了這個連線,你就無法用評估工具來執行測試。 欲了解更多資訊,請參閱 Copilot Studio 連接器與資料群組。
前往你經紀人的 評估 頁面。
執行以下其中一個動作來執行測試:
- 在建立或編輯測試集結束後,選擇「評估」。
- 在 「近期成績 」區塊,您可以透過以下任一方式評估測試結果:
- 將滑鼠移到你想評估的測試結果上,選取三個點(...),然後 再次選擇「評估測試集」。
- 選擇測試結果以開啟它,然後在評估摘要窗格中點選三個點(...),再選擇評估測試集。
如果測試集的使用者設定檔連線損壞,或測試集沒有使用者設定檔,就會顯示 「管理連線 」對話框。 你不一定要用使用者設定檔來測試。 不過,如果你使用個人檔案,所有連線都必須正常運作。 關於修復連線的資訊,請參見 「管理使用者設定檔與連線」。
評估可能需要幾分鐘完成。 當測試結果準備好查看時,Copilot Studio 會顯示警示。
深入了解測試結果
每次使用測試組執行評估時,Copilot Studio 都會:
使用連線的使用者帳戶模擬與 Agent 的交談,並將測試案例中的每個問題傳送給 Agent。
收集 Agent 的回覆。
衡量並分析每項回應的成效。 根據測試案例的準則,每個測試案例都會收到通過或失敗。
根據測試集的通過率和失敗率指派/分數。
您可以在您代理人的評估頁面「近期結果」下看到每次測試的通過率。 若要查看更多測試組執行回合,請選取查看全部以查看更多測試組執行回合。
請參閱詳細分析以了解測試案例
當你打開測試結果時,可以看到測試執行的詳細內容、測試中使用的查詢清單、客服人員的回應方式,以及 通過 或 不通過 的分數。
在列表中選擇一個測試案例,即可查看每個回應的詳細評估。
評估內容包括預期與實際反應、測試結果背後的理由,以及代理人用來回應的知識、主題與工具。
選擇引用的知識或主題來開啟。
比較測試結果
你想測試一個版本的代理程式,看看在做變更前後效能的變化。 你可以使用「 比較」 工具來比較同一組測試的兩次運行。
要比較,你需要至少跑同一套測試兩次。
在你的客服人員 評估頁面, 開啟你想用作比較基準的 測試執行 ,在 「近期測試結果」下。
選擇 「與他人比較 」下拉選單,然後選擇你想與目前開啟的測試結果比較的時間和日期。
在 測試案例 列表中,箭頭顯示哪些測試案例結果從失敗變為通過
而改善,或從通過變為失敗
而下降。
選擇一個測試案例以查看更多細節。 在 評估摘要 窗格中,你可以看到測試分數的直接比較,並顯示當前測試運行的結果。
匯出測試結果
你可以把測試結果匯出成 CSV 檔。 檔案列出每個測試案例的問題、預期回應(如適用)、測試方法、通過分數(如適用)、代理人的回應、測試結果及分析。
- 前往你經紀人的 評估 頁面。
- 在 「最近結果 」區塊,您可以透過以下任一步驟匯出測試結果:
- 將滑鼠移到你想匯出的測試案例上,選取三個點(...),然後選擇 匯出測試結果。
- 選擇測試案例開啟,然後在評估摘要窗格中點選三個點(...),最後選擇匯出測試結果。
測試結果會下載,因為 你的測試集名稱.csv。