優化代理不會在上市時結束。 Copilot Studio 提供豐富的分析,幫助您了解使用者如何與您的客服互動、對話在哪些地方成功或失敗,以及客服如何運用其工具與知識。 本文提供結構化的檢查清單與最佳實務,幫助您持續評估並改進您的經紀人。
驗證你的改進與分析準備度
在定期檢討時使用這些問題,例如衝刺儀式、每月優化或預發布準備。
主題與使用者意圖模式
| 做? |
任務 |
| ✓ |
你是否在檢視主題,以識別用戶問題群和新興意圖? |
| ✓ |
你是否將經常出現的主題加入待辦清單,以便未來改進? |
交談結果
| 做? |
任務 |
| ✓ |
你是否正在分析已解決、升級、放棄或缺乏投入的對話,尋找改進空間? |
| ✓ |
你是否確保對話以「對話結束」主題結束,以便正確捕捉結果? |
| ✓ |
你是否在調查放棄會話的激增,以找出不清楚的回應或邏輯缺失? |
| ✓ |
你有確認升級路徑只有在適當時才會觸發嗎? |
生成的回答率與品質
| 做? |
任務 |
| ✓ |
你會檢視產生的回答率,以找出知識缺口或缺失的覆蓋嗎? |
| ✓ |
你會檢查答案品質指標,例如完整性、貼地性和相關性嗎? |
| ✓ |
你會調查品質不佳的答案,並針對分析中指出的原因進行處理嗎? |
| 做? |
任務 |
| ✓ |
你會監控工具和行動的使用頻率,以及它們是成功還是失敗嗎? |
| ✓ |
你會發現那些未被充分利用或容易出錯的工具,並決定要優化還是移除它們嗎? |
| ✓ |
你是否驗證用於生成式編排的工具是否可靠? |
| 做? |
任務 |
| ✓ |
你會檢視所有知識來源的使用率和錯誤率嗎? |
| ✓ |
你會優先更新那些錯誤率高或結果不一致的知識來源嗎? |
| ✓ |
你是否確認正確的知識來源支持它們所針對的情境? |
滿意度與使用者回饋
| 做? |
任務 |
| ✓ |
你是透過豎起/讚或CSAT調查收集用戶情緒嗎? |
| ✓ |
你是否在分析回饋趨勢,以偵測不清楚的回應或對話流暢度薄弱? |
| ✓ |
你是否將低滿意度的互動模式加入待辦清單,以便重新設計? |
最佳實務呼叫
-
將分析視為一個反覆改進的循環:利用分析推動漸進式的改變。 利用主題、不完整的答案和失敗模式來指導衝刺規劃並優先處理待辦事項。
-
專注於結果的品質,而非僅僅是數量:健康的系統能最大化解決的對話,並減少升級與遺棄。 將結果比率作為判斷清晰度與成效的領先指標。
-
主動強化知識來源:高錯誤率或低品質答案常常指向知識來源不明確、過時或不匹配。 經常更新和重組這些資源,以更好地紮根。
-
優化工具以提升穩定性與成功:不可靠的工具呼叫會降低信任。 追蹤成功率並重構經常失敗或回傳不一致資料的行動。
-
利用主題來發掘新機會:主題突顯新興的意圖。 利用它們來提供新的主題、知識來源或整合需求。
-
確保對話順利結束:務必使用「對話結束」主題來捕捉解決方案與CSAT。 沒有這個主題,分析就會變得不完整且具有誤導性。
- 自主與使用者啟動代理的分別評估:自主代理高度依賴觸發器與工具鏈。 將執行結果與觸發器與使用者發起的流程分開檢視。
-
追蹤情緒變化:個別回饋固然有用,但多週情緒趨勢會揭示系統性問題。 及早調查持續的下沉。