[本文章是發行前版本文件,且隨時可能變更。]
在 Copilot Studio 中,你可以 建立 一套測試案例來評估代理的效能。 測試案例可讓您模擬客服專員的真實場景,因此您可以根據客服專員可以存取的資訊來衡量客服專員被問到的問題的答案的準確性、相關性和品質。 透過測試 集的結果,您可以優化客服人員的行為,並驗證您的客服人員是否符合您的業務與品質要求。
這很重要
本文包含 Microsoft Copilot Studio 預覽版文件,內容可能有所變更。
預覽功能不適用於生產環境,而且功能可能受到限制。 這些功能是在正式發行前先行推出,讓您能夠搶先體驗並提供意見反應。
如果您要建置生產就緒 Agent,請參閱 Microsoft Copilot Studio 概觀。
評估的運作方式是發送訊息給你的客服人員,記錄回應,並將這些回應與預期回覆或品質標準做比較。 更多訊息作為測試案例,能讓你更了解代理如何處理各種使用情境。
你可以手動建立測試案例,或透過試算表匯入,或利用 AI 根據客服設計與知識生成訊息。 接著你可以選擇如何衡量代理人在測試集內每個測試案例回應的品質。 欲了解更多建立測試案例的資訊,請參見 建立測試集。
這很重要
Copilot Studio 的測試結果可查閱 89 天。 若要儲存測試結果較長時間,請匯 出 結果為 CSV 檔案。
建立新的測試集
前往你經紀人的 評估 頁面。
選擇 新測試集。
在新增測試組頁面中,選擇要用於建立測試組的方法:
- 快速問題設定為讓 Copilot Studio 根據你客服人員的描述、指示和能力自動建立測試案例。 此選項產生 10 題,用於執行小型快速評估或開始建立較大的測驗集。
- 完整題目組,讓 Copilot Studio 利用你客服的知識來源或主題生成測試案例。
-
利用你的測試聊天對話 ,自動填入你在 測試聊天中提供的問題。 此方法使用最新測試聊天室的題目。 你也可以在測試聊天中使用評估
按鈕開始評估。
- 從 檔案 中匯入測試案例時,方法是將檔案拖曳至指定區域 ,選擇瀏覽 以上傳檔案,或選擇其他上傳選項之一。
- 或者,自己寫一些題目 ,手動建立一個測驗集。 請依照步驟 編輯測試集 以新增和編輯測試案例。
編輯測試案例的細節。 所有使用方法(除 一般品質 外)的測試案例都需要預期回應。 欲了解更多編輯資訊,請參閱 「修改測試集」。
在名稱底下,輸入測試組的名稱。
選擇 使用者設定檔,然後選擇或新增你想用於此測試組的帳號,或繼續進行不驗證。 評估在測試期間利用此帳號連結知識來源與工具。 關於新增與管理使用者設定檔的資訊,請參閱 管理使用者設定檔與連線。
備註
自動化測試則是透過所選測試帳號的驗證。 如果您的代理人擁有需要特定認證的知識來源或人脈,請選擇適合的帳號進行測試。
- 選擇 「儲存 」以更新測試集,但不執行測試案例;選擇 「評估 」以立即執行測試集。
測試案例產生限制
當你產生一組測試案例時,產生可能會失敗,因為有一個或多個問題違反了你代理人的內容審核設定。 原因包括:
- 代理人的指示或主題引導模型產生被標記的內容
- 連結的知識來源包含敏感或受限內容
- 該代理的內容審核設定過於嚴格
你可能需要嘗試其他方法來解決問題,例如調整知識來源、更新說明或調整審核設定。
從知識或主題產生測試集
你可以利用代理人已有的資訊和對話來源來產生問題來測試你的代理人。 這種測試方法適合測試代理人如何運用已有的知識和主題,但不適合用來判斷資訊缺口。
你可以利用以下知識來源產生測試案例:
- 文字
- Microsoft Word
- Microsoft Excel
你可以使用最大 293 KB 的檔案大小來產生測驗題目。
要產生測試集:
在 「新測驗集 」頁面,選擇 完整題目集。
選擇 知識 或 主題。
對於 知識,選擇你想納入題目產生的知識來源。
- 關於 知識 與 主題,選擇並拖曳滑桿以選擇產生的問題數量。
選擇產生。
編輯測試案例的細節。 所有使用方法(除 一般品質 外)的測試案例都需要預期回應。 欲了解更多編輯資訊,請參閱 「修改測試集」。
選擇 「管理個人檔案 」以選擇或連結你想用於此測試集的帳號。 你也可以不加帳號來驗證就繼續。
備註
自動化測試則是透過所選測試帳號的驗證。 如果您的代理人擁有需要特定認證的知識來源或人脈,請選擇適合的帳號進行測試。
當 Copilot Studio 產生測試案例時,會利用連接帳號的認證憑證來存取你座席的知識來源和工具。 產生的測試案例或結果可能包含相關帳號可存取的敏感資訊,且這些資訊對所有能存取測試集的創作者皆可見。
- 選擇 「儲存 」以更新測試集,但不執行測試案例;選擇 「評估 」以立即執行測試集。
建立一個測試集檔案來匯入
您可以不直接在 Copilot Studio 建置測試案例,而是建立包含所有測試案例的試算表檔案,然後匯入以建立測試組。 您可以撰寫每個測試問題、確定要使用的測試方法,並指定每個問題的預期解答。 完成檔案建立後,將其儲存為 .csv 或 .txt 檔案,並將其匯入 Copilot Studio。
這很重要
- 該文件最多可以包含 100 個問題。
- 每個問題最多可以有 1,000 個字元,包括空格。
- 檔案必須採用逗號分隔值 (CSV) 或文字格式。
若要建立匯入檔案:
開啟試算表應用程式 (例如 Microsoft Excel)。
在第一列中依此順序新增下列標題:
- Question
- 預期的回覆
- 測試方法
在問題欄中輸入您的測試問題。 每個問題可以不超過 1,000 個字元,包括空格。
在測試方法欄中,針對每個問題輸入下列其中一個測試方法:
- 一般品質
- 比較含義
- 相似度
- 完全相符
- 部分符合
在預期回覆欄中輸入每個問題的預期回覆。 匯入測試組的預期回覆是選用的。 不過,您需要預期回覆來執行比對、相似性及比較含義測試案例。
將檔案儲存為 .csv 或 .txt 檔案。
依照 「建立新測試集」的步驟匯入檔案。