[本文章是發行前版本文件,且隨時可能變更。]
在 建立測試集的過程中或之後,你可以透過修改題目措辭、選擇不同的測試方法,或根據需要調整預期答案來編輯測試案例。 您可以藉由選取個別測試案例旁邊的核取方塊,選擇多個測試案例來進行大量編輯。
您有三種用於評估 Agent 回覆的測試方法 (也稱為評級器) 可選擇:品質、相似性、文字比對。 如需不同測試方法的詳細資訊,請參閱測試方法。
這很重要
本文包含 Microsoft Copilot Studio 預覽版文件,內容可能有所變更。
預覽功能不適用於生產環境,而且功能可能受到限制。 這些功能是在正式發行前先行推出,讓您能夠搶先體驗並提供意見反應。
如果您要建置生產就緒 Agent,請參閱 Microsoft Copilot Studio 概觀。
編輯測試集的細節
你可以更改測試集的基本細節以及它用來驗證的帳號。
在你的代理人 評估 頁面,選擇測試集。
在測試組中,選取要編輯的測試案例。
可選擇性地更改測試集名稱。
選擇 「管理個人檔案 」以新增帳號,或選擇目前的個人檔案來 管理連線,或選擇其他個人檔案。 自動化測試則是透過所選測試帳號的驗證。 如果您的客服人員擁有需要特定認證的知識來源或工具,您可以選擇適合的帳號進行測試。
備註
當 Copilot Studio 產生測試案例或執行評估時,會利用連接帳號的認證憑證來存取你座席的知識來源和工具。 產生的測試案例或結果可能包含相關帳號可存取的敏感資訊,且這些資訊對所有能存取測試集的創作者皆可見。
管理使用者設定檔與連線
你可以透過使用者帳號的認證來執行測試集。 此認證方法讓您的代理人能存取完成目標所需的知識來源與工具。
你也可以用設定檔來模擬特定的使用者體驗。 例如,主管的使用者設定檔可能存取與實習生不同的知識來源,且客服應回傳不同的結果。
測試結果 顯示使用了哪個使用者設定檔。
備註
當 Copilot Studio 產生測試案例或執行評估時,會利用連接帳號的認證憑證來存取你座席的知識來源和工具。 產生的測試案例或結果可能包含相關帳號可存取的敏感資訊,且這些資訊對所有能存取測試集的創作者皆可見。
使用使用者驗證的代理程式評估需要透過 Microsoft Copilot Studio 連接器存取。 如果你的管理員關閉了這個連線,你就無法用評估工具來執行測試。 欲了解更多資訊,請參閱 Copilot Studio 連接器與資料群組。
在測試集中新增或更改使用者設定檔:
- 打開一個測試集,然後選擇 管理設定檔。
- 選擇 使用者 下拉選單,然後:
- 選擇你想使用的使用者帳號,或
- 選擇 新增帳號,然後登入該帳號。
- 對於帶有警告的連線,請選擇連線。 將現有連線改為正常連線,選擇 重新連線 嘗試重建現有連線,或選擇 建立新連線 嘗試新連線。
對於新增連線,請輸入所要求的連線細節,然後選擇 「連接」。
- 當所有連線都正常時,選擇 儲存。
編輯測試集內的測試案例
在你的代理人 評估 頁面,選擇測試集。
在測試組中,選取要編輯的測試案例。
- 在右窗格中,編輯問題欄位中的文字,以變更問題的措辭。
- 選取您要使用的測試方法。
質量:
選取一般品質,根據相關性、契合性和完整性來評估解答。
選取比較含義,根據解答對預期回覆含義的掌握程度來進行評估。 在通過分數底下,您可以設定判定解答通過的分數閾值。
在預期回覆方塊中,提供測試方法評估 Agent 解答所依據的回覆。
相似性:使用餘弦相似度指標來評估客服專員的回答與預期回應的措辭和含義的相似程度。 這會決定介於 0 到 1 之間的分數,其中 1 表示高度相符,0 表示完全不相符。 在通過分數底下,您可以設定判定解答通過的分數閾值。
在預期回覆方塊中,提供測試方法評估 Agent 解答所依據的回覆。
文字比對:
選取完全相符,以根據預期回覆評估 Agent 的解答,其中通過分數表示 Agent 的解答與定義的預期回覆完全相符。
在預期回覆方塊中,提供測試方法評估 Agent 解答所依據的回覆。
選取部分相符,以根據預期回覆評估 Agent 的解答,其中通過分數表示 Agent 的解答包含已定義預期回覆中的一些單字或片語。
在預期回覆方塊中,提供測試方法評估 Agent 解答所依據的字詞或關鍵字。 若要新增多個關鍵字或字詞,請選取新增、選取方塊之間的運算子 和 、 或 ,然後提供關鍵字或字詞。
選取 ,然後套用。
完成變更後,選擇 儲存 以儲存測試集,或選擇 評估 以 執行測試。
在測試集中新增更多測試案例
在建立或編輯測試集時,你可以新增更多測試案例。
在你的代理人 評估 頁面,選擇測試集。
產生或手動新增更多測試案例。
- 選取並 編輯任何新的測試案例 以增加細節。
刪除測試案例或測試集
你可以刪除不再需要的測試案例或測試集。
- 前往你經紀人的 評估 頁面。
- 在 測試集 區塊中,你可以透過以下任一步驟刪除測試集:
- 選取測試卡上的三個點(...),然後選擇 刪除。
- 選擇測試集來開啟它,然後在「配置測試集」窗格中點選三個點(...),最後選擇刪除。
- 在 「最近結果 」區塊中,你可以透過以下任一步驟刪除測試案例:
- 將滑鼠移到你想刪除的測試案例上,點選三個點(...),然後選擇 刪除測試。
- 選擇測試案例開啟,然後在評估摘要窗格中點選三個點(...),最後選擇刪除。