共用方式為


使用 Copilot Studio Kit 增強代理程式測試

Power CAT Copilot Studio 套件是一款使用者友善的應用程式,可讓您驗證客服專員回應。 它還包括本機功能,如Excel導出和導入,用於批量創建和更新。

設定、執行和分析

針對 Copilot Studio API (Direct Line API) 設定和執行測試,以根據預期結果評估客服專員回應。

若要擴充結果,請透過分析交談記錄記錄 (例如確切的觸發主題名稱和意圖辨識分數) ,從 Azure Application Insights 和 Dataverse 擷取其他資料點。

對於 AI 產生的答案 (本質上是不確定的),請使用提示將產生的答案與範例答案或驗證指示進行比較。

圖表顯示參與測試和分析 Copilot Studio Direct Line API 的 Azure 和 Power Platform 元件,包括 Azure Application Insights、AI Builder 和 Dataverse。

測試類型

該工具支持以下類型的測試:

  • 回覆相符項目
  • 附件,例如調適型卡片
  • 主題配對(需要 Dataverse)
  • 生成式答案 (需要 AI 產生器進行回應分析,並需要 Application Insights 以取得未產生答案原因的詳細資訊)
  • 多次迴圈測試類型是一種特殊的測試類型。 它由一組 常規 類型的測試案例組成,這些測試案例在相同的交談內容中以指定的順序執行。 使用多回合測試來端對端測試案例,以及使用生成式協調流程測試自訂代理程式。
  • 計劃驗證可讓製作者驗證其使用生成式協調流程的自訂代理程式是否包含預期的工具。 此測試類型不是評估客服專員所說的內容,而是檢查客服專員的動態計劃是否包含預期的工具(工具、動作和已連接的客服專員)到預先確定的閾值。

Copilot Studio Kit 中設定測試中深入瞭解測試類型。

測試執行結果詳細資料的螢幕擷取畫面,包括顯示所有測試執行成功率和延遲的圖形。

後續步驟