테스트는 Copilot Studio Kit의 사용자 지정 에이전트가 예상대로 응답하고 동작하도록 하는 데 필수적입니다. 이 문서에서는 다중 턴 시나리오를 포함하여 다양한 유형의 테스트를 만들고, 관리하고, 유효성을 검사하고, Excel에서 대량 작업을 수행하고, 테스트 집합을 복제하는 방법을 설명합니다.
테스트 형식
여러 유형의 테스트를 만들어 에이전트의 유효성을 검사할 수 있습니다.
| 테스트 유형 | Description |
|---|---|
| 응답 일치 | 이 테스트는 가장 간단한 테스트 유형입니다. 선택한 비교 연산자를 사용하여 에이전트 응답을 예상 응답과 비교합니다. 기본적으로 정확한 일치("같음")가 사용됩니다. 사용 가능한 다른 비교 연산자는 "같지 않음", "포함", "포함 안 함", "시작함", "시작하지 않음", "끝남" 및 "끝나지 않음"입니다. |
| 첨부 파일(적응형 카드 등) | 에이전트 첨부 파일 JSON 응답을 예상된 첨부 파일 JSON(전체 첨부 파일 배열)과 비교합니다. 기본적으로 정확한 일치("같음")가 사용됩니다. 사용 가능한 다른 비교 연산자는 "같지 않음", "포함됨", "포함하지 않음"입니다. "AI 유효성 검사"라는 특수 비교 연산자는 언어 모델을 사용하여 생성 답변과 유사하게 작성자가 제공한 유효성 검사 지침에 따라 첨부 파일의 유효성을 검사합니다. |
| 항목 일치 |
Dataverse 강화(대화 기록으로 강화)가 구성된 경우에만 사용할 수 있습니다. Dataverse 보강 단계가 완료되면 이 테스트는 예상 토픽 이름과 트리거된 토픽 이름을 비교합니다. 토픽 일치 테스트는 생성 오케스트레이션을 사용하도록 설정된 사용자 지정 에이전트와의 다중 토픽 일치 도 지원합니다. 다중 토픽 일치에서 토픽은 쉼표로 구분됩니다. 예: "Topic1,Topic2". |
| 생성형 답변 |
AI Builder 보강(생성된 답변 분석)이 구성된 경우에만 사용할 수 있습니다. 큰 언어 모델을 사용하여 AI 생성 답변이 샘플 답변에 가까운지 또는 유효성 검사 지침을 적용하는지 평가합니다. Azure Application Insights로 강화를 구성하면, 조정이나 검색 결과 없음과 같은 부정적인 테스트도 수행할 수 있습니다. |
| 다중 회전 | 응답 일치, 첨부 파일, 항목 일치 및 생성 답변과 같은 다른 형식의 하나 이상의 테스트 사례로 구성됩니다. 다중 회전 테스트의 모든 하위 테스트는 지정된 순서로 동일한 대화 컨텍스트 내에서 실행됩니다. 다중 턴 테스트를 사용하여 시나리오 엔드 투 엔드를 테스트하고 생성 오케스트레이션을 사용하여 사용자 지정 에이전트를 테스트합니다. 다중 턴 테스트에 대해 자세히 알아보세요. |
| 계획 유효성 검사 | 작성자가 사용자 지정 에이전트의 동적 계획에 필요한 도구가 포함되어 있음을 확인할 수 있습니다. 이 테스트 유형은 생성 오케스트레이션을 사용하도록 설정된 Copilot Studio 사용자 지정 에이전트를 위한 것입니다. 계획 유효성 검사 테스트에 대해 자세히 알아봅니다. |
새 테스트 집합 만들기
테스트 집합을 사용하여 여러 테스트를 함께 그룹화합니다. 테스트를 실행할 때 테스트 집합을 선택하여 해당 집합의 모든 테스트를 실행합니다.
- Copilot Studio Kit 애플리케이션에 액세스합니다.
- 테스트 집합으로 이동합니다.
- 새 에이전트 테스트 세트 레코드를 만듭니다.
- 이름을 입력합니다.
- 저장을 선택합니다.
새 테스트 만들기
테스트 집합을 만든 후 테스트 집합에 테스트를 추가할 수 있습니다. 테스트 하위 그리드에서 + 새 에이전트 테스트를 선택합니다.
다음 표에서는 필드를 설명합니다.
| 열 이름 | 필수 | Description |
|---|---|---|
| 이름 | Yes | 테스트의 이름입니다. 이 이름은 TST-001과 같은 내부 참조 ID일 수 있습니다. |
| 에이전트 테스트 세트 | Yes | 테스트를 위한 부모 테스트 세트입니다. |
| 테스트 유형 | Yes | 사용 가능한 테스트 유형 중 하나입니다. |
| startConversation 이벤트 보내기 | 아니오 | 사용하도록 설정하면 에이전트가 startConversation 이벤트를 수신하여 대화를 사전에 시작하며, 그 이후에 테스트 발화가 전송됩니다. 이 설정은 일반적으로 대화 시작 항목에 사용자 또는 테스트 발화에 응답하기 전에 실행해야 하는 논리가 포함된 경우에 필요합니다. |
| 응답 메시지의 예상 위치 | 아니오 | 확실하지 않은 경우 값을 설정하지 마세요. 이 옵션을 사용하면 여러 메시지를 보낼 때 특정 에이전트 응답을 캡처할 수 있습니다. 예를 들어 에이전트가 먼저 "Hello"라고 표시한 다음 "어떻게 도와줄 수 있나요?"라고 말하고 두 번째 메시지를 테스트하려는 경우 값을 1로 설정합니다. 순서는 0부터 시작하므로 첫 번째 메시지는 0으로 인덱싱되고 두 번째 응답은 1로 인덱싱됩니다. |
| 발화 테스트 | Yes | 테스트의 일부로 에이전트에 보내려는 메시지입니다. |
| 예상 응답 | 다릅니다 | 응답 일치 테스트 유형에 대한 필수입니다. 에이전트의 예상 응답입니다. 생성 답변 테스트의 경우 큰 언어 모델에 대한 샘플 답변 또는 고유한 유효성 검사 지침을 설정합니다. |
| 외부 변수 JSON | 아니오 | 테스트의 일부로 에이전트에 전달하려는 외부 또는 상황별 값 에 대한 JSON 레코드입니다. 예: { "Language": "fr" } |
| 답변을 얻기 몇 초 전 | 아니오 | 봇의 응답을 평가하기 전에 대기할 시간(초)입니다. 대부분의 경우 이 값을 비워 둘 수 있지만 에이전트가 API를 호출하고 응답이 평소보다 오래 걸릴 수 있는 경우에 유용합니다. |
| 예상 생성 답변 결과 | 다릅니다 | 생성 답변 테스트 유형에 대한 필수입니다. 응답하거나 응답하지 않아야 합니다. Azure Application Insights 보강을 사용하도록 설정하면 중재 또는 검색 결과 없음을 선택할 수 있습니다. |
| 예상 토픽 이름 | 다릅니다 | 항목 일치 테스트 유형에 대한 필수 항목입니다. 트리거될 것으로 예상되는 토픽의 이름입니다. 다중 토픽 일치는 생성 오케스트레이션을 사용하도록 설정된 사용자 지정 에이전트에 대해 지원됩니다. 다중 토픽 일치의 경우 쉼표로 구분된 목록을 사용합니다. 예: "Topic1,Topic2". 공백을 더 추가하지 마세요. 다중 토픽 일치는 예상 토픽이 계획의 항목 중 하나임을 보장합니다. |
| 필요한 첨부 파일 JSON | 다릅니다 | 첨부 파일(적응형 카드 등) 테스트 유형에 대해 의무 사항입니다. 에이전트 응답에서 예상하는 전체 첨부 파일 JSON 배열입니다. |
| 예상 도구 | 다릅니다 | 계획 유효성 검사 테스트 유형에 대한 필수입니다. 쉼표로 구분된 예상 도구 목록(도구, 작업 및 연결된 에이전트) 공백을 더 추가하지 마세요. 순서가 중요하지 않습니다. 예: "날씨, 기후 변화" |
| 임계값 %통과 | 다릅니다 | 계획 유효성 검사 테스트 유형에 대한 필수입니다. 테스트를 통과하기 위해 동적 계획에 있어야 하는 예상 도구의 비율입니다. 백분율이 100인 경우 테스트가 성공하려면 모든 예상 도구가 동적 계획에 있어야 합니다. 동적 계획의 추가 도구는 테스트 결과에 영향을 주지 않습니다. |
다중 턴 테스트
다중 턴 테스트 형식의 경우 정규 형식의 자식 테스트를 하나 이상 지정할 수 있습니다. 각 하위 테스트에는 순서 및 중요도가 있습니다. 순서는 동일한 대화 컨텍스트 내에서 실행 순서를 정의합니다(다중 턴 테스트 사례 내). 중요도 수준은 하위 테스트 케이스가 다중 회전 테스트 실행을 계속될 수 있도록 통과해야 하는지를 정의합니다.
토픽 일치 또는 생성 답변과 같이 테스트 후 평가가 필요한 모든 자식 테스트는 보류 중인 상태로 남아 있으며 중요도 상태에 관계없이 테스트 실행이 계속됩니다. 중요한 테스트가 실패하면 다중 턴 테스트의 실행이 중지되고 결과가 실패한 것으로 간주됩니다. 모든 중요한 하위 테스트 케이스가 성공하면 다중 회전의 결과도 성공합니다.
비중요 하위 테스트 케이스를 사용하여 생성 오케스트레이션과 함께 사용자 지정 에이전트에 정보를 제공합니다. 응답이 중요하지 않고 중요한 테스트를 빌드하려는 경우 이러한 테스트 사례를 사용할 수도 있습니다.
유효성 검사 테스트 계획
계획 유효성 검사는 도구 정확성에 중점을 둡니다. 이 테스트 유형은 에이전트가 말하는 내용을 평가하는 대신 계획 중에 예상된 도구가 사용되었는지 여부를 확인합니다.
계획 유효성 검사 테스트를 정의할 때 다음을 지정합니다.
- 테스트 발화
- 동적 계획에 포함할 예상 도구의 쉼표로 구분된 목록
- 목록에서 허용할 편차의 양을 나타내는 통과 임계값입니다.
이 테스트는 대화 기록을 사용하며 실제 테스트가 보강 활동으로 실행된 후에 평가됩니다.
다음을 참고하십시오.
예상 도구: 도구, 작업 및 연결된 에이전트를 쉼표로 구분된 목록에 포함할 수 있습니다. 여분의 공백은 허용되지 않으며 순서는 중요하지 않습니다.
임계값 %통과 : 통과 임계값은 테스트가 성공하기 위해 동적 계획에 있어야 하는 예상 도구의 필수 부분을 지정합니다.
계획 유효성 검사는 결정적 테스트입니다. 예상 도구에서 실제 도구의 편차를 계산하고 통과 임계값과 비교합니다. 편차가 임계값 내에 있으면 테스트가 통과합니다. 그렇지 않으면 실패합니다.
자세한 정보: 생성 AI를 사용하여 에이전트 동작 오케스트레이션
Excel을 사용하여 테스트 대량 만들기 또는 업데이트
테스트 집합을 만든 후 Excel을 사용하여 테스트를 대량으로 만들거나 업데이트할 수 있습니다.
- 테스트 집합 레코드에서 하위 그리드 보기를 테스트에서 내보내기/가져오기 뷰로 전환합니다.
- Excel Online에서 에이전트 테스트 내보내기 선택
- 필요에 따라 테스트를 추가하고 수정합니다.
- 저장을 선택합니다.
다중 회전 하위 테스트를 가져오는 경우 먼저 실제 상위 다중 회전 테스트를 만들거나 가져와야 합니다. 그런 다음 하위 테스트 케이스를 가져옵니다.
Power Apps 모델 기반 앱에서 Excel 가져오기 및 내보내기에 대해 자세히 알아봅니다.
중복 테스트 및 테스트 집합
테스트 집합과 개별 테스트를 모두 복제할 수 있습니다.
단일 테스트 사례를 복제하려면 에이전트 테스트 레코드를 열고 중복 테스트 사례를 선택합니다. 이 작업은 위치, 시간 또는 양 변경과 같은 테스트 사례의 변형을 만들 때 유용합니다.
전체 테스트 집합을 복제하려면 테스트 집합 레코드를 열고 명령 모음에서 중복 테스트 집합 을 선택합니다. 이 작업은 테스트 세트 및 모든 하위 테스트의 복사본을 만듭니다.