この FAQ では、Copilot Studio の分析支援機能における AI の効果について説明します。
生成 AI は分析にどのように使用されますか?
Copilot Studio は AI を活用し、生成応答の品質を測定するとともにクラスターを作成します。これらのクラスターはエージェントのパフォーマンスに関する分析情報を提供するために使用されます。
生成応答では、選択したナレッジ ソースを使用して応答を生成します。 この機能では、提供したフィードバックも収集されます。 分析は、大規模言語モデル (LLM) を使用して、ユーザーとエージェント間のチャットメッセージを、生成型回答の品質を示すレベルに分類します。 Copilot Studio はこれらの指標をまとめ、作成者にエージェントの総合的なパフォーマンスの概要を提供します。
クラスタリングは LLM を使用して、ユーザーのメッセージを共通の主題に基づいてグループに分類し、各グループに説明的な名前を付けます。 Copilot Studio は、これらのクラスター名を使用して、エージェントの改善に活用できるさまざまなタイプの分析情報を使用します。
生成回答の応答の品質
使用する応答の品質は何ですか?
作成者は応答品質分析を使用し、エージェントの利用状況とパフォーマンスに関する分析情報を発見し、エージェントの改善に向けたアクションを作成します。 分析ツールは、エージェントが生成する回答の品質が作成者の期待を満たしているかどうかを把握する目的で使用できます。
応答品質の分析は、総合的な品質に加え、エージェントのパフォーマンスが低い領域や、作成者が意図した目標を達成できていない領域を特定します。 これに基づき、作成者は生成回答の精度が低い領域を特定し、その品質向上のための対策を講じることができます。
さらに、パフォーマンスの低下を特定する際には、品質向上に役立つベストプラクティスがあります。 たとえば、パフォーマンスの低いナレッジソースを特定した後、作成者はそのナレッジソースを編集するか、より焦点を絞った複数のソースに分割することで品質を向上させることができます。
応答の品質に関する分析を作成するために使用するデータは何ですか?
応答の質に関する分析は、生成型応答のサンプルを使用して算出されます。 生成モデルが生成応答に使用するには、ユーザーのクエリ、エージェントの応答、関連するナレッジソースが必要です。
応答品質の分析は、生成された回答の品質が良好かどうかを評価するためにこの情報を使用して、良好でない場合には、その品質が低い理由を特定します。 たとえば、応答の質によって、不完全な応答、関連性のない応答、あるいは十分に根拠付けられていない応答を特定できます。
応答品質分析の制約、またユーザーはそれらの限界点の影響を最小限に抑えるにはどうすればよいですか?
応答の品質分析は、すべての生成応答を使用して計算されるわけではありません。 代わりに、分析はユーザー エージェント セッションのサンプルを測定します。 生成回答の成功数が最小限の基準に達していないエージェントは、応答品質の分析概要を受け取ることができません。
分析では個々の応答が正確に評価されない場合があります。 集計レベルでは、ほとんどのケースで正確である必要があります。
応答品質の分析では、低品質なパフォーマンスにつながった具体的なクエリの内訳は提供されません。 また、低品質な回答が発生した際に使用された、一般的なナレッジソースやトピックの内訳も提供していません。
生成ナレッジを使用した回答については、分析は計算されません。
応答分析が評価する指標の一部は、回答の完全性です。 取得したドキュメントに関連して応答がどの程度完全であるかを評価します。
与えられた質問に対する追加情報を含む、関連ドキュメントが検索されない場合、完全性の指標はこのドキュメントに基づいて評価されません。
Copilot Studio では、責任ある AI のためにどのような保護策が講じられていますか?
エージェントのユーザーは分析結果を確認できません。分析結果はエージェント作成者と管理者のみが使用できます。
作成者と管理者は、応答の品質に関する分析機能を使用して、良質な回答の割合と、低品質な回答の事前定義された理由を確認することのみが可能です。 作成者は良質な回答の割合と事前定義された理由のみを確認できます。
開発中に回答の品質に関する分析機能を徹底的にテストし、良好なパフォーマンスを確保しました。 ただし、ごく稀に応答品質の評価が不正確となる場合があります。
ユーザーの質問のテーマ
テーマを使用する目的は何ですか。
この機能により、多数のユーザー クエリが自動的に分析され、テーマ と呼ばれる大まかなトピックにグループ化されます。 各テーマは、ユーザーが質問した単一の大まかな件名を表します。 テーマは、ユーザー コンテンツのデータに基づく教師なしビューを提供します。 このビューは、何千ものクエリを手動で確認することなく、ユーザーが最も関心を持っていることをチームが理解するのに役立ちます。
クラスターの作成にはどのようなデータを使用しますか。
テーマ機能は、生成的な回答をトリガーするユーザー クエリを使用します。 テーマは、過去 7 日間のすべてのクエリを分析して、提案された新しいテーマを生成します。
テーマでは、グループ クエリにセマンティック類似性が使用されます。 言語モデルを使用して、各クラスターのタイトルと説明を生成します。 クラスタリングの品質を向上させるために、作成者からのフィードバック (良い/悪い) も収集されます。
テーマのクラスタリングにはどのような制限事項がありますか。また、ユーザーがこれらの制限事項をどのようして軽減すればよいですか。
テーマへのクラスタリングの成功は、クエリの量によって異なります。 十分なクエリがない場合、またはクエリが相互に関連付けられていない場合、Copilot Studio はクエリを過度に広いテーマまたは過度に狭いテーマにクラスター化する可能性があります。
テーマは、類似のトピックを分割したり、関連のないトピックをマージしたりする場合があります。
クエリ内の言語のシフトは、時間の経過に伴うクラスターの一貫性に影響する可能性があります。
作成者は、テーマを定期的に確認し、名前付けの品質を向上させるためのフィードバックを提供できます。
Copilot Studio では、責任ある AI に関してどのようなテーマへの保護策が講じられていますか。
テーマは、作成者と管理者にのみ表示されます。 コンテンツ モデレーションは、有害または不適切な出力のリスクを軽減するために名前と説明を生成するときに適用されます。