Nota
O acesso a esta página requer autorização. Podes tentar iniciar sessão ou mudar de diretório.
O acesso a esta página requer autorização. Podes tentar mudar de diretório.
O Copilot Studio Kit fornece uma interface abrangente para analisar os resultados dos testes.
Detalhes da execução do teste
A interface Agent Test Run mostra o status das execuções de teste.
| Situação | Description |
|---|---|
| Estado da Execução | Processo principal que executa cada teste de agente individual em relação à configuração do agente usando a API de Linha Direta e cria um registro de Resultado de Teste de Agente correspondente. |
| Status de Enriquecimento do App Insights | Executa somente se o Enrich With Azure Application Insights estiver habilitado no registro de Configuração do Agente relacionado. |
| Análise de respostas geradas | Executa somente se Analisar respostas geradas estiver habilitado no registro de configuração do agente relacionado. |
| Status de enriquecimento do Dataverse | É executado somente se o Enriquecimento com transcrições de conversa estiver habilitado no registro de Configuração do Agente relacionado. |
Saiba mais sobre as definições de Configuração do Agente em Configurar agentes no Copilot Studio Kit.
A imagem a seguir mostra a interface Test Runs, onde você pode exibir detalhes da execução de teste.
Resultados agregados
Depois que um fluxo de nuvem é executado, o sistema calcula os resultados agregados.
| Resultado agregado | Description |
|---|---|
| # Testes | Número de resultados dos testes. |
| Taxa de sucesso (%) | Porcentagem de registros de resultados de teste com um resultado de sucesso em comparação com o número total de resultados de teste. |
| Latência média (ms) | Tempo médio, em milissegundos, para o agente enviar a mensagem após receber a expressão de teste. |
| # Sucesso | Número de registos de resultados de teste com resultado de sucesso. |
| # Falhou | Número de registos de resultados de teste com um resultado de falha. |
| # Pendente | Número de registos de resultados de testes com resultado pendente. |
| # Desconhecido | Número de registos de resultados de testes com um resultado desconhecido. |
| # Erro | Número de registros de resultados de teste com um resultado de erro. |
Resultados detalhados
Analise os resultados depois de concluir cada etapa, pois alguns resultados só estarão disponíveis após a conclusão das etapas. Por exemplo, os testes de correspondência de tópicos precisam de enriquecimento do Dataverse para serem totalmente executados, pois somente esta etapa fornece informações sobre o nome do tópico que foi acionado.
Você pode editar a visualização de resultados para ajustar os resultados individualmente.
Cada resultado tem uma seção Motivo do resultado que é preenchida automaticamente com uma explicação para o resultado. Para avaliações geradas por IA, recomenda uma revisão humana: "Avaliação gerada por IA da resposta. Por favor, reveja." Os testadores podem usar esse atributo para adicionar seus próprios comentários e anotações em um teste.
Para cada um dos seguintes tipos de teste, você pode usar o filtro Resultados para exibir apenas os resultados de um tipo específico:
- Resultados das Respostas Generativas
- Resultados da Correspondência de Respostas
- Resultados da correspondência de tópicos
- Resultados do anexo
Detalhes dos resultados do teste de agente
O formulário Resultado do teste do agente fornece detalhes sobre cada execução de teste individual. O sistema cria automaticamente estes registos.
| Nome da Coluna | Description |
|---|---|
| ID da conversação | ID da conversa fornecida pela API de Linha Direta. |
| Execução de teste do agente | Execução de teste à qual o registro se relaciona. |
| Teste de agente | Teste a que o registo se refere. Você pode ver os detalhes do teste em um formulário de Visualização rápida. |
| resultado | Resultado: Success, , , Failed, UnknownErrorPending. |
| Explanation | Explicação gerada automaticamente do resultado. |
| Latência (ms) | Tempo, em milissegundos, que o agente demora a enviar a mensagem novamente após receber a expressão de teste. |
| Mensagem enviada | Marca temporal da mensagem que o utilizador envia. |
| Resposta recebida | Carimbo de data/hora da mensagem enviada pelo agente. |
| Resposta | Mensagem de texto enviada pelo agente. |
| Resultado do App Insights | A resposta generativa resulta do Azure Application Insights (quando o Enrich With Azure Application Insights está habilitado). |
| ID do tópico acionado | Identificador exclusivo do registo do Subcomponente do Chatbot para o tópico acionado no Dataverse (quando Melhorar com transcrições de conversações está ativado). |
| Tópico / Evento Acionado | Nome do tópico acionado (quando o Enriquecimento com transcrições de conversa estiver habilitado ). Se vários tópicos corresponderem, IntentCandidates. Para impulsionar a conversação e contingência, UnknownIntent. |
| Pontuação de Intenção Reconhecida | Se ocorrer reconhecimento de intenção, a classificação da intenção principal. |
| Transcrição da conversa | Anexo do ficheiro JSON da transcrição completa da conversa (quando Enriquecer com Transcrições da Conversa estiver ativado e Copiar Transcrição Completa estiver definido como sim). |
| Ações sugeridas | Quando disponível, JSON das ações sugeridas que o agente devolve e associa à sua resposta. |
| Attachments | Quando disponível, JSON da matriz de anexos que o agente devolve e associa à sua resposta. |
| Citações | Para respostas geradas, matriz JSON das citações que o agente usa para gerar a resposta (quando Enriquecimento com transcrições de conversa está habilitado). |
Inspecione a transcrição
Se você habilitar Enriquecimento com transcrições de conversa e definir Copiar transcrição completa como sim, o resultado do teste incluirá a transcrição completa. Ao analisar um resultado de teste, vá para a guia Transcrição para obter uma exibição detalhada da transcrição no formato JSON com uma visualização acompanhante.
Analise os resultados dos testes em várias voltas
A visualização de resultados mostra testes de várias voltas juntamente com outros tipos de teste. Você vê o resultado geral (Sucesso ou Falha) na coluna Resultado. Selecione o valor ID de Conversação para ver os detalhes do teste de várias voltas e uma lista de testes subordinados que compõem o teste.
Na vista detalhada dos Resultados do Teste de Várias Voltas, pode ver os resultados de testes subordinados individuais e desagregar os seus detalhes. O resultado de um teste de várias voltas depende dos resultados dos seus testes subornados, que são marcados como críticos. Os testes subordinados não críticos podem ser reprovados e o caso de teste de várias voltas continua para o caso de teste seguinte. Se algum dos testes subordinados críticos for reprovado, a execução do teste para esse de várias voltas para e o teste é marcado como Reprovado. Se todos os testes subordinados críticos forem aprovados, o resultado do teste de várias voltas será Êxito.
Os casos de teste multietapa podem incluir testes não críticos porque fornecem informações ao orquestrador generativo. O resultado exato do caso de teste tem pouca relevância; o que realmente importa são os testes críticos que se seguem.
O teste de várias voltas (e o Resultado do Teste de Várias Voltas) pode incluir qualquer um dos tipos de teste regulares: correspondência de resposta, anexos, correspondência de tópico e respostas generativas.
Onde obter ajuda
Se você tiver problemas, revise as diretrizes de solução de problemas ou faça uma solicitação de suporte no GitHub.