共用方式為


編輯測試集

[本文章是發行前版本文件,且隨時可能變更。]

建立測試集的過程中或之後,你可以透過修改題目措辭、選擇不同的測試方法,或根據需要調整預期答案來編輯測試案例。 您可以藉由選取個別測試案例旁邊的核取方塊,選擇多個測試案例來進行大量編輯。

您有三種用於評估 Agent 回覆的測試方法 (也稱為評級器) 可選擇:品質、相似性、文字比對。 如需不同測試方法的詳細資訊,請參閱測試方法

這很重要

本文包含 Microsoft Copilot Studio 預覽版文件,內容可能有所變更。

預覽功能不適用於生產環境,而且功能可能受到限制。 這些功能是在正式發行前先行推出,讓您能夠搶先體驗並提供意見反應

如果您要建置生產就緒 Agent,請參閱 Microsoft Copilot Studio 概觀

編輯測試集的細節

你可以更改測試集的基本細節以及它用來驗證的帳號。

  1. 在你的代理人 評估 頁面,選擇測試集。

  2. 在測試組中,選取要編輯的測試案例。

  3. 可選擇性地更改測試集名稱。

  4. 選擇 「管理個人檔案 」以新增帳號,或選擇目前的個人檔案來 管理連線,或選擇其他個人檔案。 自動化測試則是透過所選測試帳號的驗證。 如果您的客服人員擁有需要特定認證的知識來源或工具,您可以選擇適合的帳號進行測試。

備註

當 Copilot Studio 產生測試案例或執行評估時,會利用連接帳號的認證憑證來存取你座席的知識來源和工具。 產生的測試案例或結果可能包含相關帳號可存取的敏感資訊,且這些資訊對所有能存取測試集的創作者皆可見。

顯示管理個人資料按鈕的截圖。

管理使用者設定檔與連線

你可以透過使用者帳號的認證來執行測試集。 此認證方法讓您的代理人能存取完成目標所需的知識來源與工具。

你也可以用設定檔來模擬特定的使用者體驗。 例如,主管的使用者設定檔可能存取與實習生不同的知識來源,且客服應回傳不同的結果。

測試結果 顯示使用了哪個使用者設定檔。

備註

當 Copilot Studio 產生測試案例或執行評估時,會利用連接帳號的認證憑證來存取你座席的知識來源和工具。 產生的測試案例或結果可能包含相關帳號可存取的敏感資訊,且這些資訊對所有能存取測試集的創作者皆可見。

使用使用者驗證的代理程式評估需要透過 Microsoft Copilot Studio 連接器存取。 如果你的管理員關閉了這個連線,你就無法用評估工具來執行測試。 欲了解更多資訊,請參閱 Copilot Studio 連接器與資料群組

在測試集中新增或更改使用者設定檔:

  1. 打開一個測試集,然後選擇 管理設定檔

顯示管理個人資料按鈕的截圖。

  1. 選擇 使用者 下拉選單,然後:
  • 選擇你想使用的使用者帳號,或
  • 選擇 新增帳號,然後登入該帳號。

展示如何選擇使用者帳號的截圖。

  1. 對於帶有警告的連線,請選擇連線。 將現有連線改為正常連線,選擇 重新連線 嘗試重建現有連線,或選擇 建立新連線 嘗試新連線。

對於新增連線,請輸入所要求的連線細節,然後選擇 「連接」。

  1. 當所有連線都正常時,選擇 儲存

編輯測試集內的測試案例

  1. 在你的代理人 評估 頁面,選擇測試集。

  2. 在測試組中,選取要編輯的測試案例。

螢幕擷取畫面顯示測試案例清單。

  1. 在右窗格中,編輯問題欄位中的文字,以變更問題的措辭。

螢幕擷取畫面顯示問題文字欄位。

  1. 選取您要使用的測試方法

螢幕擷取畫面顯示測試方法選取項目。

  • 質量

    • 選取一般品質,根據相關性、契合性和完整性來評估解答。

    • 選取比較含義,根據解答對預期回覆含義的掌握程度來進行評估。 在通過分數底下,您可以設定判定解答通過的分數閾值。

      預期回覆方塊中,提供測試方法評估 Agent 解答所依據的回覆。

  • 相似性:使用餘弦相似度指標來評估客服專員的回答與預期回應的措辭和含義的相似程度。 這會決定介於 0 到 1 之間的分數,其中 1 表示高度相符,0 表示完全不相符。 在通過分數底下,您可以設定判定解答通過的分數閾值。

    預期回覆方塊中,提供測試方法評估 Agent 解答所依據的回覆。

  • 文字比對

    • 選取完全相符,以根據預期回覆評估 Agent 的解答,其中通過分數表示 Agent 的解答與定義的預期回覆完全相符。

      預期回覆方塊中,提供測試方法評估 Agent 解答所依據的回覆。

    • 選取部分相符,以根據預期回覆評估 Agent 的解答,其中通過分數表示 Agent 的解答包含已定義預期回覆中的一些單字或片語。

      預期回覆方塊中,提供測試方法評估 Agent 解答所依據的字詞或關鍵字。 若要新增多個關鍵字或字詞,請選取新增、選取方塊之間的運算子 ,然後提供關鍵字或字詞。

      截圖顯示如何加入關鍵字以部分匹配預期回應。

  1. 選取 ,然後套用

  2. 完成變更後,選擇 儲存 以儲存測試集,或選擇 評估執行測試

在測試集中新增更多測試案例

在建立或編輯測試集時,你可以新增更多測試案例。

  1. 在你的代理人 評估 頁面,選擇測試集。

  2. 產生或手動新增更多測試案例。

截圖顯示「產生10個問題」和「手動新增案例」按鈕,位於檢視你的測試案例頁面。

  1. 選取並 編輯任何新的測試案例 以增加細節。

刪除測試案例或測試集

你可以刪除不再需要的測試案例或測試集。

  1. 前往你經紀人的 評估 頁面。
  2. 測試集 區塊中,你可以透過以下任一步驟刪除測試集:
    • 選取測試卡上的三個點(...),然後選擇 刪除
    • 選擇測試集來開啟它,然後在「配置測試集」窗格中點選三個點(...),最後選擇刪除
  3. 「最近結果 」區塊中,你可以透過以下任一步驟刪除測試案例:
    • 將滑鼠移到你想刪除的測試案例上,點選三個點(...),然後選擇 刪除測試
    • 選擇測試案例開啟,然後在評估摘要窗格中點選三個點(...),最後選擇刪除