Power CAT Copilot Studio Kit는 에이전트 응답을 확인할 수 있는 사용자 친화적인 애플리케이션입니다. 또한 대량 생성 및 업데이트를 위한 Excel 내보내기 및 가져오기와 같은 네이티브 기능도 포함됩니다.
구성, 실행 및 분석
Copilot Studio API(직접 회선 API)에 대한 테스트를 구성하고 실행하여 예상 결과에 대한 에이전트 응답을 평가합니다.
결과를 보강하려면 대화 기록 레코드(예: 정확히 트리거된 토픽 이름 및 의도 인식 점수)를 분석하여 Azure Application Insights 및 Dataverse에서 추가 데이터 요소를 검색합니다.
본질적으로 비결정적인 AI 생성 답변의 경우 프롬프트를 사용하여 생성된 답변을 샘플 답변 또는 유효성 검사 지침과 비교합니다.
테스트 형식
이 도구는 다음과 같은 유형의 테스트를 지원합니다.
- 응답 일치
- 적응형 카드와 같은 첨부 파일
- 항목 일치(Dataverse 필요)
- 생성 답변(응답 분석을 위한 AI Builder 및 응답이 생성되지 않은 이유에 대한 자세한 내용은 Application Insights 필요)
- 다중 턴 테스트 유형은 특수 테스트 유형입니다. 동일한 대화 컨텍스트에서 지정된 순서로 실행되는 일반 형식의 테스트 사례 집합으로 구성됩니다. 다중 턴 테스트를 사용하여 시나리오를 엔드 투 엔드로 테스트하고 생성 오케스트레이션을 사용하여 사용자 지정 에이전트를 테스트합니다.
- 계획 유효성 검사를 통해 제조업체는 생성 오케스트레이션을 사용하는 사용자 지정 에이전트에 예상된 도구가 포함되어 있음을 확인할 수 있습니다. 에이전트가 말하는 내용을 평가하는 대신, 이 테스트 유형은 에이전트의 동적 계획에 미리 결정된 임계값에 필요한 도구(도구, 작업 및 연결된 에이전트)가 포함되어 있는지 확인합니다.
Copilot Studio Kit에서 테스트 구성의 테스트 유형에 대해 자세히 알아봅니다.
