이러한 FAQ(자주 묻는 질문)는 Copilot Studio의 분석 지원 기능이 AI에 미치는 영향에 대해 설명합니다.
생성형 AI는 분석에 어떻게 사용하나요?
Copilot Studio는 AI를 사용하여 생성형 답변 응답의 품질을 측정하고 에이전트 성능에 대한 인사이트를 제공하는 데 사용되는 클러스터를 만듭니다.
생성형 답변은 선택한 참조 자료 원본을 사용하여 응답을 생성합니다. 이 기능은 사용자가 제공한 피드백도 수집합니다. 분석은 LLM(대규모 언어 모델)을 사용하여 사용자와 에이전트 간의 채팅 메시지를 생성형 답변 응답의 품질을 나타내는 수준으로 분류합니다. Copilot Studio는 이러한 지표를 컴파일하여 제조업체에 에이전트의 전반적인 성능에 대한 요약을 제공합니다.
클러스터링에서는 LLM을 사용하여 사용자 메시지를 공유 주체에 따라 그룹으로 정렬하고 각 그룹에 설명이 포함된 이름을 제공합니다. Copilot Studio는 이러한 클러스터의 이름을 사용하여 에이전트를 개선하는 데 사용할 수 있는 다양한 유형의 인사이트를 제공합니다.
생성형 답변에 대한 응답 품질
의도한 사용의 응답 품질은 무엇인가요?
제조업체는 응답 분석의 품질을 사용하여 에이전트 사용량 및 성능에 대한 인사이트를 검색한 다음 에이전트 개선을 위한 작업을 만듭니다. 현재, 분석을 사용하여 에이전트의 생성형 답변 품질이 제조업체의 기대치를 충족하는지 파악할 수 있습니다.
전반적인 품질 외에도 응답 분석 품질은 에이전트가 제대로 수행되지 않거나 제조업체의 의도된 목표를 수행하지 못하는 영역을 식별합니다. 이를 바탕으로 작성자는 생성형 답변이 제대로 수행되지 않는 영역을 정의하고 품질을 개선하기 위한 조치를 취할 수 있습니다.
또한 성능 저하를 식별할 때 품질을 개선하는 데 도움이 되는 모범 사례가 있습니다. 예를 들어 성능이 저하된 참조 자료 원본을 식별한 후에는 품질 향상을 위해 참조 자료 원본을 편집하거나 참조 자료 원본을 보다 집중된 여러 원본으로 분할할 수 있습니다.
응답 품질에 대한 분석을 만드는 데 사용되는 데이터는 무엇인가요?
응답 분석의 품질은 생성형 답변 응답 샘플을 사용하여 계산됩니다. 생성형 모델에서 생성형 답변에 사용하는 사용자 쿼리, 에이전트 응답 및 관련 참조 자료 원본이 필요합니다.
응답 분석의 품질은 해당 정보를 사용하여 생성형 답변 품질이 좋은지, 그렇지 않은 경우 품질이 좋지 않은지 평가합니다. 예를 들어 응답 품질은 불완전하거나 관련이 없거나 완전히 근거가 없는 응답을 식별할 수 있습니다.
응답 분석의 품질 제한은 무엇이며, 사용자가 제한 사항의 영향을 최소화하려면 어떻게 해야 할까요?
응답 분석의 품질은 모든 생성형 응답을 사용하여 계산되지 않습니다. 대신, 분석은 사용자 에이전트 세션의 샘플을 측정합니다. 성공한 최소 개수 미만의 에이전트는 응답 분석 요약의 품질을 받을 수 없습니다.
분석에서 개별 응답을 정확하게 평가하지 않는 경우가 있습니다. 집계된 수준에서는 대부분의 경우 정확해야 합니다.
응답 분석의 품질은 품질이 낮은 특정 쿼리의 분석을 제공하지 않습니다. 또한 낮은 품질의 응답이 발생할 때 사용된 공통 참조 자료 원본 또는 토픽의 분석도 제공하지 않습니다.
분석은 생성형 지식을 사용하는 답변에 대해 계산되지 않습니다.
응답 분석이 평가하는 메트릭 품질의 일부는 응답 완전성입니다. 검색된 문서와 관련하여 응답이 완료된 정도를 평가합니다.
지정된 질문에 대한 추가 정보가 포함된 관련 문서를 검색하지 않으면 이 문서에 따라 완전성 메트릭이 평가되지 않습니다.
Copilot Studio 내에서 책임 있는 AI를 위한 어떤 보호 장치가 마련되어 있나요?
에이전트 사용자는 분석 결과를 볼 수 없습니다. 에이전트 작성자와 관리자만 사용할 수 있습니다.
제작자와 관리자는 응답 분석의 품질만 사용하여 우수한 품질의 응답 비율과 성능 저하에 대한 미리 정의된 이유를 확인할 수 있습니다. 제작자는 좋은 품질의 응답과 미리 정의된 이유의 비율만 볼 수 있습니다.
좋은 성능을 보장하기 위해 개발 중에 응답 품질에 대한 분석을 철저히 테스트했습니다. 그러나 드물게 발생하는 경우 응답 평가의 품질이 정확하지 않을 수 있습니다.
사용자 질문의 테마
테마의 사용 목적은 무엇인가요?
이 기능은 대규모 사용자 쿼리 집합을 자동으로 분석하고 테마라는 상위 수준 항목으로 그룹화합니다. 각 테마는 사용자가 묻는 단일 상위 수준 주제를 나타냅니다. 테마는 사용자 콘텐츠의 감독되지 않는 데이터 기반 보기를 제공합니다. 이 보기를 통해 팀은 수천 개의 쿼리를 수동으로 검토하지 않고도 사용자가 가장 중요하게 사용하는 것을 이해할 수 있습니다.
클러스터를 만드는 데 사용되는 데이터는 무엇인가요?
테마 기능은 생성 답변을 트리거하는 사용자 쿼리를 사용합니다. 테마는 지난 7일간의 모든 쿼리를 분석하여 제안된 새 테마를 생성합니다.
테마는 의미 체계 유사성을 사용하여 쿼리를 그룹화합니다. 그런 다음 언어 모델을 사용하여 각 클러스터에 대한 제목 및 설명을 생성합니다. 클러스터링 품질을 개선하기 위해 제작자의 피드백(예: 좋아요/싫어요)도 수집됩니다.
테마에 대한 클러스터링의 제한 사항은 무엇이며 사용자는 이러한 제한을 어떻게 완화할 수 있나요?
테마로 성공적으로 클러스터링하는 것은 쿼리 볼륨에 따라 달라집니다. 쿼리가 충분하지 않거나 쿼리가 서로 너무 관련이 없는 경우 Copilot Studio는 쿼리를 지나치게 광범위하거나 지나치게 좁은 테마로 클러스터할 수 있습니다.
테마는 비슷한 토픽을 분할하거나 관련 없는 항목을 병합할 수 있습니다.
쿼리에서 언어를 이동하면 시간이 지남에 따라 클러스터의 일관성에 영향을 줄 수 있습니다.
제작자는 정기적으로 테마를 검토하고 피드백을 제공하여 명명 품질을 향상시킬 수 있습니다.
Copilot Studio에서는 책임 있는 AI 측면에서 테마를 보호하기 위해 어떤 조치가 마련되어 있나요?
테마는 제작자 및 관리자에게만 표시됩니다. 콘텐츠 조정은 유해하거나 부적절한 출력의 위험을 줄이기 위해 이름과 설명을 생성할 때 적용됩니다.