다음을 통해 공유

테마별 사용자 질문 분석(미리 보기)

[이 문서는 시험판 설명서이므로 변경될 수 있습니다.]

테마는 생성 답변을 트리거하는 사용자 질문 풀에서 가져온 질문의 그룹화입니다. 유사한 사용자 질문을 테마별로 묶어, 지능적으로 구성되고 더 관리하기 쉬운 그룹으로 만듭니다. 테마를 사용하면 고객 의도에 대한 범주 수준 인사이트를 얻고, 빈번한 토픽을 식별하고, 개선이 필요한 영역에 노력을 집중할 수 있습니다. 그런 다음 테마의 개별 질문으로 드릴다운하고 보다 세부적인 수준에서 성능을 모니터링하여 테마 수준 메트릭을 더 잘 이해할 수 있습니다.

중요합니다

이 문서는 Microsoft Copilot Studio 프리뷰 설명서를 포함하며 변경될 수 있습니다.

미리 보기 기능은 프로덕션용이 아니며 기능이 제한되었을 수 있습니다. 이러한 기능은 공식 릴리스 이전에 제공되므로 사용자가 조기에 액세스하고 피드백을 제공할 수 있습니다.

프로덕션이 가능한 에이전트를 빌드하는 경우 Microsoft Copilot Studio 개요를 참조하세요.

주요 가치 제안

테마 기능은 지난 주에 생성 AI 응답을 트리거한 분류되지 않은 모든 질문을 자동으로 분석하고 이 분석을 기반으로 테마를 제안합니다. 이 프로세스는 매주 실행됩니다. 매주 테마 제안 실행 사이에 이 기능은 생성 AI 응답을 트리거하는 새 질문의 매일 분류를 수행하여 이 데이터를 테마 메트릭에 추가합니다. 제안된 테마 목록은 정기적으로 새로 고쳐져 테마가 관련성을 유지하고 최신 사용자 데이터를 반영합니다. 이 자동 새로 고침은 다음 방법으로 시간을 절약합니다.

  • 새 데이터에 대한 테마 관련성을 지속적으로 평가
  • 개별 질문을 테마로 자동 분류
  • 각 테마에 대한 원시 메트릭 데이터 검색 자동화
  • 각 테마에 대해 집계된 메트릭 데이터 계산

필수 조건

각 테마의 구성 요소 질문 및 답변으로 드릴다운할 수 있는 것을 포함하여 테마 기능의 값을 최적화하려면 다음을 수행합니다.

제안된 테마 및 분류된 질문

Copilot Studio는 최근 질문의 기록을 기반으로 테마를 제안합니다. 조직의 구조 및 고객 경험 전략에 맞게 제안된 각 테마를 조정하면 KPI(테마별 핵심 성과 지표)를 통해 더 나은 인사이트를 얻을 수 있습니다. 이러한 세분성을 통해 에이전트의 성능이 저조한 위치를 더 쉽게 찾을 수 있습니다.

테마는 사용자가 에이전트에게 묻는 질문과 에이전트의 수행 방식을 이해하는 데 도움이 됩니다. 테마 기반 분석의 초기 실행에서 Copilot Studio는 지난 주의 모든 질문을 살펴보고 서로의 유사성에 따라 사용자 질문을 그룹화한 최대 10개의 테마를 제안합니다. 각 테마에는 총 질문 수, 응답률 및 사용자 반응과 같은 메트릭이 포함됩니다. 테마 목록에 표시된 데이터는 선택한 분석 기간에 따라 조정됩니다.

처음 실행된 후 Copilot Studio는 지속적으로 매일 기존 테마에 대한 새로운 질문을 분류하고 매주 제안된 테마의 새 목록을 생성합니다.

비고

  • Copilot Studio에서 제안된 테마를 생성하기 전에 지난 7일 동안 기록된 생성 답변과 함께 50개 이상의 질문이 있어야 합니다.
  • 생성형 AI 응답을 트리거하는 질문은 둘 이상의 주제로 분류될 수 있습니다. 이 시나리오는 에이전트 응답이 여러 다른 소스에서 올 수 있는 생성형 오케스트레이션 모드에서 더 일반적일 수 있습니다.
  • 분류되지 않은 상태로 유지되는 모든 질문은 분류되지 않은 테마로 입력됩니다.
  • 주간 제안 실행을 완료하는 데 몇 분 정도 걸릴 수 있습니다. 이 시간 동안 테마 섹션을 사용할 수 없습니다.

테마 목록

기본적으로 테마 목록에는 각 테마로 분류된 총 질문 수에 따라 순위가 매겨진 상위 5개 테마가 표시됩니다. 모두 보기를 선택하여 목록을 확장하여 모든 테마를 표시합니다.

자동 주간 테마 제안 실행 및 일일 질문 분류를 통해 테마 기능은 자동으로 진화하고 사용자 동작의 변화에 맞게 조정됩니다.

분석 탭의 테마 목록 스크린샷

테마 목록에는 나열된 각 테마에 대한 메트릭이 표시됩니다.

칼럼 Description
이름 테마의 이름입니다.
총 질문 수 구성된 기간 동안 이 테마로 분류된 총 질문 수입니다.
답변된 질문 사용자 질문에 대한 답변을 생성한 총 질문 의 비율입니다.
반응 각 테마로 분류된 질문에서 긍정(엄지 손가락 위로) 및 부정(엄지 손가락 아래로) 반응의 원시 개수입니다.

비고

분류된 모든 질문이 생성 AI 답변을 트리거할 때 내 테마에 '답변이 없는 질문'이 있는 이유는 무엇인가요?

정의에 따라 생성 AI 답변을 트리거한 질문만 테마로 분류할 수 있습니다. 그러나 생성 답변에 대한 호출을 트리거하는 것은 사용자 쿼리에 대한 답변을 갖는 것과 다릅니다.

예를 들어 지식 원본에 연결된 대화형 상승 토픽이 있는 것이 일반적입니다. 이 경우 의도가 인식되지 않는 경우 해당 지식 원본의 질문에 대한 답변이 없더라도 이 항목이 트리거되어 지식 원본을 호출할 수 있습니다.

주제를 깊게 탐구하다

하나의 테마로 그룹화된 질문으로 드릴다운하려면 테마 목록에서 테마를 선택합니다. 드릴다운하면 선택한 테마와 관련된 패널이 열리고 테마와 개별 질문의 수준에 메트릭이 표시됩니다.

비고

테마 목록에는 다음이 포함됩니다.

  • 각 테마로 분류된 가장 최근 100개의 질문.
  • 구성된 기간에 관계없이 지난 30일 동안의 질문입니다. 구성된 기간이 지난 30일을 완전히 벗어난 경우 Copilot Studio는 목록을 사용할 수 없다는 알림을 표시합니다.

테마 드릴다운 패널의 스크린샷.

테마의 드릴다운 패널에서 테마 수준의 메트릭이 먼저 표시됩니다.

테마 수준 지표 Description
총 질문 수 구성된 기간 동안 생성 AI 응답을 트리거한 총 질문 수(이 테마로 분류됨)입니다.
답변된 질문 사용자 질문에 대한 답변을 생성한 이 테마의 총 질문 비율입니다.
답변이 없는 질문 사용자 질문에 대한 답변을 얻지 못한 이 테마의 총 질문 비율입니다.
반응 학습 피드백 메커니즘에 기록된 대로 이 테마로 분류된 질문에서 긍정(엄지 손가락 위로) 및 부정(엄지 손가락 아래로) 반응의 원시 개수입니다.

답변된 질문 샘플링에 대한 응답 품질 분석과 이 테마에서 참조된 모든 참조 자료를 표시하려면 더 보기를 선택합니다.

테마에 대해 샘플링된 질문의 응답 품질에 대한 상대적 가중치를 보여 주는 누적 가로 막대형 차트의 스크린샷

테마 메트릭 패널에서 테마 수준에서 하나의 응답 품질 값에 대한 자세한 정보를 보려면 응답 품질에서 개별 막대 세그먼트 위로 마우스를 가져갑니다. 도구 설명에는 해당 세그먼트의 상대 가중치 값과 해당 값에 도달하기 위해 샘플링된 질문 수가 포함됩니다.

지정된 테마에 대한 응답 품질의 상대적 가중치의 스크린샷으로, 하나의 품질 값에 대한 도구 설명을 보여줍니다.

나열된 참조 자료 중 하나의 수준에서 자세한 정보를 보려면 참조 자료 사용 아래에서 개별 참조 자료를 선택합니다. 도구 설명에는 다음이 포함됩니다.

  • 이 지식 소스를 참조한 이 주제의 총 질문 수와 엄지손가락 및반대 반응의 수입니다.
  • 테마에서 이 지식 소스를 참조하는 질문에 대한 응답 품질 상대 가중치 분석을 보여주는 누적 막대 차트입니다. 막대형 차트의 세그먼트 위로 마우스를 가져가면 해당 세그먼트의 상대적 가중치 값과 해당 값에 도달하기 위해 샘플링된 질문 수를 볼 수 있습니다.

테마 내의 지정된 지식 소스에 대한 응답 품질의 상대적 가중치의 스크린샷으로, 하나의 품질 값에 대한 도구 설명을 보여줍니다.

개별 테마의 드릴다운 패널에서 사용자 질문 섹션에는 구성된 기간 동안 생성형 AI 응답을 트리거하고 이 테마로 분류된 모든 질문이 나열되고 질문별로 메트릭이 표시됩니다. 질문 수준 메트릭은 다음과 같습니다.

질문 수준 차원 또는 측정값 Description
질문 (차원) 이 테마로 분류된 질문(생성형 AI 응답을 트리거)입니다.
대답? 사용자 쿼리가 응답되었는지 여부에 대한 질문에 대한 응답입니다. 가능한 값은 Answered 및 Unanswered입니다.
응답 품질1 사용자 쿼리에 대한 응답 품질이 무엇인지에 대한 질문에 대한 응답입니다. 가능한 값은 Poor 및 Good입니다.
반응 두 매개 변수, 즉 부울 좋아요/싫어요 메트릭 및 텍스트 기반 댓글 매개 변수입니다.
지식 소스 이 주제에서 이 질문에서 참조하는 지식 소스의 쉼표로 구분된 목록입니다.

1 응답 품질은 항상 사용할 수 있는 것은 아니며 품질 분석을 위해 질문이 샘플링된 경우에만 표시됩니다.

질문 세부 정보 패널에 질문에 대한 자세한 정보를 표시하려면 목록에서 질문을 선택합니다. 이 패널에는 다음이 포함됩니다.

자세한 질문 수준 매개 변수 Description
타임스탬프 질문에 대답한 가장 최근 인스턴스의 타임스탬프를 표시합니다.
사용자 쿼리 질문이 제기되었다.
응답 생성형 AI 응답입니다.
만족/불만족 값 Thumbs up/Thumbs down 매개 변수에 대한 이 질문의 가장 최근 인스턴스에 대한 값입니다.
주석 사용자가 제공하는 선택적 추가 텍스트 기반 주석 및 Thumbs up/Thumbs down 반응입니다.
응답 품질1 사용자 쿼리에 대한 응답 품질이 무엇인지에 대한 질문에 대한 응답입니다. 가능한 값은 Poor 및 Good입니다.
이유2 응답 품질이 Poor인 경우, 이 매개변수가 그 이유를 설명합니다.

1 응답 품질은 항상 사용할 수 있는 것은 아니며 품질 분석을 위해 질문이 샘플링된 경우에만 표시됩니다.

2 응답 품질이 Good 있거나 질문이 샘플링되지 않은 경우 Reason 매개 변수에 값이 할당되지 않습니다.

테마 내의 질문 수준 지표 세부 정보의 스크린샷입니다.

  • Last updated on