共用方式為


執行測試並查看結果

[本文章是發行前版本文件,且隨時可能變更。]

透過測試集的結果,您可以優化客服人員的行為,並驗證您的客服人員是否符合您的業務與品質要求。 你也可以多次執行測試集,隨著你提升代理人的表現來比較結果。

Copilot Studio 的測試結果可查閱 89 天。 若要儲存測試結果較長時間,請匯 結果為 CSV 檔案。

這很重要

本文包含 Microsoft Copilot Studio 預覽版文件,內容可能有所變更。

預覽功能不適用於生產環境,而且功能可能受到限制。 這些功能是在正式發行前先行推出,讓您能夠搶先體驗並提供意見反應

如果您要建置生產就緒 Agent,請參閱 Microsoft Copilot Studio 概觀

執行測試組

建立測試集後,你可以執行或重執行,以比較隨時間和迭代 的結果 。 測試可能需要幾分鐘完成。 你可以一次只做一個測試。

這很重要

使用使用者驗證的代理程式評估需要透過 Microsoft Copilot Studio 連接器存取。 如果你的管理員關閉了這個連線,你就無法用評估工具來執行測試。 欲了解更多資訊,請參閱 Copilot Studio 連接器與資料群組

  1. 前往你經紀人的 評估 頁面。

  2. 執行以下其中一個動作來執行測試:

    • 建立編輯測試集結束後,選擇「評估」。
    • 「近期成績 」區塊,您可以透過以下任一方式評估測試結果:
      • 將滑鼠移到你想評估的測試結果上,選取三個點(...),然後 再次選擇「評估測試集」。
      • 選擇測試結果以開啟它,然後在評估摘要窗格中點選三個點(...),再選擇評估測試集

    如果測試集的使用者設定檔連線損壞,或測試集沒有使用者設定檔,就會顯示 「管理連線 」對話框。 你不一定要用使用者設定檔來測試。 不過,如果你使用個人檔案,所有連線都必須正常運作。 關於修復連線的資訊,請參見 「管理使用者設定檔與連線」。

評估可能需要幾分鐘完成。 當測試結果準備好查看時,Copilot Studio 會顯示警示。

深入了解測試結果

每次使用測試組執行評估時,Copilot Studio 都會:

  1. 使用連線的使用者帳戶模擬與 Agent 的交談,並將測試案例中的每個問題傳送給 Agent。

  2. 收集 Agent 的回覆。

  3. 衡量並分析每項回應的成效。 根據測試案例的準則,每個測試案例都會收到通過失敗

  4. 根據測試集的通過率失敗率指派/分數。

您可以在您代理人的評估頁面「近期結果」下看到每次測試的通過率。 若要查看更多測試組執行回合,請選取查看全部以查看更多測試組執行回合。

螢幕擷取畫面顯示先前評估的清單。

請參閱詳細分析以了解測試案例

當你打開測試結果時,可以看到測試執行的詳細內容、測試中使用的查詢清單、客服人員的回應方式,以及 通過不通過 的分數。

在列表中選擇一個測試案例,即可查看每個回應的詳細評估。

螢幕擷取畫面顯示已完成評估中的測試案例清單。

評估內容包括預期與實際反應、測試結果背後的理由,以及代理人用來回應的知識、主題與工具。

選擇引用的知識或主題來開啟。

螢幕擷取畫面顯示測試案例的詳細結果和評估。

比較測試結果

你想測試一個版本的代理程式,看看在做變更前後效能的變化。 你可以使用「 比較」 工具來比較同一組測試的兩次運行。

要比較,你需要至少跑同一套測試兩次。

  1. 在你的客服人員 評估頁面, 開啟你想用作比較基準的 測試執行 ,在 「近期測試結果」下。

  2. 選擇 「與他人比較 」下拉選單,然後選擇你想與目前開啟的測試結果比較的時間和日期。

截圖顯示「與比較」下拉選單。

測試案例 列表中,箭頭顯示哪些測試案例結果從失敗變為通過 而改善,或從通過變為失敗 而下降。

選擇一個測試案例以查看更多細節。 在 評估摘要 窗格中,你可以看到測試分數的直接比較,並顯示當前測試運行的結果。

截圖顯示兩組測試結果的比較。

匯出測試結果

你可以把測試結果匯出成 CSV 檔。 檔案列出每個測試案例的問題、預期回應(如適用)、測試方法、通過分數(如適用)、代理人的回應、測試結果及分析。

  1. 前往你經紀人的 評估 頁面。
  2. 「最近結果 」區塊,您可以透過以下任一步驟匯出測試結果:
    • 將滑鼠移到你想匯出的測試案例上,選取三個點(...),然後選擇 匯出測試結果
    • 選擇測試案例開啟,然後在評估摘要窗格中點選三個點(...),最後選擇匯出測試結果

測試結果會下載,因為 你的測試集名稱.csv。