Compartilhar via

Melhorar os testes de agentes com o Copilot Studio Kit

O Power CAT Copilot Studio Kit é um aplicativo amigável que permite verificar as respostas do agente. Ele também inclui recursos nativos, como exportação e importação do Excel para criação e atualizações em massa.

Configurar, executar e analisar

Configure e execute testes nas APIs do Copilot Studio (API de Linha Direta) para avaliar as respostas do agente em relação aos resultados esperados.

Para enriquecer os resultados, recupere pontos de dados adicionais do Azure Application Insights e do Dataverse analisando registros de transcrição de conversa (como o nome exato do tópico disparado e as pontuações de reconhecimento de intenção).

Para respostas geradas por IA, que não são determinísticas por natureza, use prompts para comparar a resposta gerada com uma resposta de amostra ou instruções de validação.

Diagrama que mostra os componentes do Azure e do Power Platform envolvidos no teste e análise de APIs de Linha Direta do Copilot Studio, incluindo o Azure Application Insights, o AI Builder e o Dataverse.

Tipos de teste

A ferramenta dá suporte a esses tipos de testes:

  • Correspondência de respostas
  • Anexos como cartões adaptáveis
  • Correspondência de tópico (requer Dataverse)
  • Respostas generativas (requer o AI Builder para análise de resposta e Application Insights para obter detalhes sobre por que uma resposta não foi gerada)
  • O tipo de teste de vários turnos é um tipo de teste especial. Ele consiste em um conjunto de casos de teste de tipos regulares que são executados em uma ordem especificada no mesmo contexto de conversa. Use testes de vários turnos para testar cenários de ponta a ponta e para testar agentes personalizados com orquestração generativa.
  • A validação do plano permite que os criadores validem que seus agentes personalizados que usam orquestração generativa incluem as ferramentas esperadas. Em vez de avaliar o que o agente diz, esse tipo de teste verifica se o plano dinâmico do agente inclui as ferramentas esperadas (ferramentas, ações e agentes conectados) a um limite pré-determinado.

Saiba mais sobre os tipos de teste em Configurar testes no Copilot Studio Kit.

Captura de tela dos detalhes do resultado da execução de teste, incluindo um gráfico mostrando a taxa de êxito e a latência para todas as execuções de teste.

Próxima etapa

Configurar um agente para a automação de teste

  • Last updated on