평가를 위한 테스트 세트 생성

[이 문서는 시험판 문서이며 변경될 수 있습니다.]

Copilot Studio에서는 에이전트의 성능을 평가하기 위한 테스트 케이스 세트를 만들 수 있습니다. 테스트 사례를 사용하면 에이전트가 액세스할 수 있는 정보에 따라 에이전트가 묻는 질문에 대한 답변의 정확도, 관련성 및 품질을 측정할 수 있도록 에이전트에 대한 실제 시나리오를 시뮬레이션할 수 있습니다. 테스트 세트 결과를 활용하면 에이전트의 행동을 최적화하고 에이전트가 비즈니스 및 품질 요구사항을 충족하는지 검증할 수 있습니다.

평가는 에이전트에게 메시지를 보내고, 응답을 기록한 뒤, 그 응답을 기대 반응이나 품질 기준과 비교하는 방식으로 이루어집니다. 테스트 케이스로 사용되는 더 많은 메시지는 에이전트가 다양한 사용 사례를 어떻게 처리하는지 더 잘 파악할 수 있습니다.

수동으로 테스트 케이스를 만들거나, 스프레드시트를 사용해 가져오거나, AI를 이용해 에이전트의 설계와 지식을 바탕으로 메시지를 생성할 수 있습니다. 그 후 테스트 세트 내 각 테스트 케이스에 대해 에이전트의 응답 품질을 어떻게 측정할지 선택할 수 있습니다. 테스트 케이스 생성에 대한 자세한 내용은 테스트 세트 만들기를 참조하세요.

새 테스트 집합 만들기

1. 에이전트의 평가 페이지로 가세요.

2. 새 테스트 세트를 선택하세요.

   

3. 새 테스트 집합 페이지에서 테스트 집합을 만드는 데 사용할 방법을 선택합니다.

   • 간단한 질문으로 Copilot Studio가 에이전트의 설명, 지침, 기능을 기반으로 자동으로 테스트 케이스를 생성하도록 설정했습니다. 이 옵션은 소규모 빠른 평가를 수행하거나 더 큰 테스트 세트를 구축하기 위한 10개의 질문을 생성합니다.
   • 전체 질문 세트 를 통해 Copilot Studio가 에이전트의 지식 소스나 주제를 활용해 테스트 케이스를 생성하도록 하세요.
   • 테스트 채팅 대화를 사용 해 테스트 채팅에서 제공한 질문들을 자동으로 테스트 세트에 채워 넣으세요. 이 방법은 최신 테스트 채팅에서 질문을 사용합니다. 테스트 채팅에서 평가 를 시작할 수도 있습니다.
   • 파일을 지정된 영역으로 드래그하여 '탐색'을 선택해 파일을 업로드하거나 다른 업로드 옵션 중 하나를 선택하여 테스트 케이스를 가져오세요.
   • 또는 직접 문제를 만들어 테스트 세트를 직접 만들어 보세요. 테스트 세트를 편집 하는 과정을 따라 테스트 케이스를 추가하고 편집하세요.

4. 테스트 케이스의 세부 사항을 수정하세요. 일반적인 품질을 제외한 모든 방법을 사용하는 테스트 케이스는 기대되는 응답을 요구합니다. 편집에 관한 자세한 내용은 테스트 세트 수정(Modify a test set)을 참조하세요.

5. 이름 아래에서 테스트 집합의 이름을 입력합니다.

6. 사용자 프로필을 선택한 후, 이 테스트 세트에 사용할 계정을 선택하거나 추가하거나, 인증 없이 계속 진행하세요. 평가는 이 계정을 사용해 테스트 중 지식 출처와 도구에 연결됩니다. 사용자 프로필 추가 및 관리에 관한 정보는 '사용자 프로필 및 연결 관리'를 참조하세요.

1. 테스트 케이스를 실행하지 않고 테스트 세트를 업데이트하려면 저장을 선택하거나, 즉시 테스트 세트를 실행하려면 평가를 선택하세요.

테스트 케이스 생성 제한

테스트 케이스 그룹을 생성할 때, 하나 이상의 질문이 에이전트의 콘텐츠 관리 설정을 위반해 생성이 실패할 수 있습니다. 이유는 다음과 같습니다.

• 에이전트의 지시나 주제에 따라 모델이 플래그가 붙은 콘텐츠를 생성하게 됩니다
• 연결된 지식 소스에는 민감하거나 제한된 내용이 포함되어 있습니다
• 에이전트의 콘텐츠 관리 설정이 지나치게 엄격합니다

지식을 조정하거나 지침을 업데이트하거나 중재 설정을 변경하는 등 문제를 해결하기 위해 다른 조치를 시도해야 할 수도 있습니다.

지식이나 주제로부터 테스트 세트를 생성하세요

에이전트가 이미 가지고 있는 정보와 대화 자료를 활용해 질문을 생성해 테스트할 수 있습니다. 이 테스트 방법은 에이전트가 이미 가진 지식과 주제를 어떻게 활용하는지 테스트하는 데는 좋지만, 정보 공백을 테스트하는 데는 적합하지 않습니다.

다음 지식 소스를 사용하여 테스트 케이스를 생성할 수 있습니다:

• 문자 메시지
• 마이크로소프트 워드
• Microsoft Excel

최대 293KB까지 크기의 파일 크기를 사용하여 시험 문제를 생성할 수 있습니다.

테스트 집합을 생성하려면:

1. 새 시험 세트 페이지에서 전체 문제 세트를 선택하세요.

2. 지식 또는 주제 중 하나를 선택하세요.

   • 지식은 생성 오케스트레이션을 사용하는 에이전트에게 가장 적합합니다. 이 방법은 에이전트의 지식 출처를 선택해 질문을 만듭니다.
   • Topics는 클래식 오케스트레이션을 사용하는 에이전트에게 가장 적합합니다. 이 방법은 에이전트의 주제를 활용해 질문을 만듭니다.

3. 지식 항목에서는 문제 생성에 포함할 지식 소스를 선택하세요.

1. 지식과 주제 항목에서는 슬라이더를 선택하고 드래그하여 생성할 질문 수를 선택하세요.

1. 생성을 선택합니다.

2. 테스트 케이스의 세부 사항을 수정하세요. 일반적인 품질을 제외한 모든 방법을 사용하는 테스트 케이스는 기대되는 응답을 요구합니다. 편집에 관한 자세한 내용은 테스트 세트 수정(Modify a test set)을 참조하세요.

3. 이 테스트 세트에 사용할 계정을 선택하거나 연결하려면 프로필 관리(Manage profile )를 선택하세요. 인증 계정을 추가하지 않고도 계속 진행할 수 있습니다.

1. 테스트 케이스를 실행하지 않고 테스트 세트를 업데이트하려면 저장을 선택하거나, 즉시 테스트 세트를 실행하려면 평가를 선택하세요.

임포트할 테스트 세트 파일을 생성하세요

Copilot Studio에서 직접 테스트 사례를 빌드하는 대신 모든 테스트 사례가 포함된 스프레드시트 파일을 만들고 가져와서 테스트 집합을 만들 수 있습니다. 각 테스트 질문을 작성하고, 사용할 테스트 방법을 결정하고, 각 질문에 대한 예상 응답을 지정할 수 있습니다. 파일 만들기를 마치면 .csv 또는 .txt 파일로 저장하고 Copilot Studio로 가져옵니다.

가져오기 파일을 만들려면 다음을 수행합니다.

1. 스프레드시트 응용 프로그램(예: Microsoft Excel)을 엽니다.

2. 다음 제목을 이 순서대로 첫 번째 행에 추가합니다.

   • Question
   • 예상 응답
   • 테스트 방법

3. 질문 열에 테스트 질문을 입력합니다. 각 질문은 공백을 포함하여 1,000자 이하일 수 있습니다.

4. 테스트 메서드 열에서 각 질문에 대해 다음 테스트 메서드 중 하나를 입력합니다.

   • 일반 품질
   • 의미 비교
   • 유사성
   • 정확히 일치
   • 부분 일치

5. 예상 응답 열에 각 질문에 대한 예상 응답을 입력합니다. 예상 응답은 테스트 집합을 가져오기 위한 선택 사항입니다. 그러나 일치, 유사성 및 의미 테스트 사례를 비교하려면 예상 응답이 필요합니다.

6. 파일을 .csv 또는 .txt 파일로 저장합니다.

7. Create a new test set의 단계를 따라 파일을 가져오세요.