Analisar desempenho do agente autônomo

A página Análise no Copilot Studio oferece um insight agregado sobre a integridade geral do agente com gatilhos de evento nas sessões de análise. A página também exibe uma área de Visão Geral que fornece métricas de alto nível e indicadores-chave de desempenho (KPI) para seu agente, uma área de Poupança que analisa a economia de tempo e custos atribuída ao seu agente ou às ferramentas do seu agente, e uma área de Resumo que fornece insights analíticos importantes sobre o desempenho do seu agente.

Para saber mais sobre:

• As áreas Resumo e Visão Geral, consulte Visão Geral de Análise
• A área Poupança, consulte Analisar poupança de tempo e custo para agentes

Existem quatro áreas principais nas quais se concentrar durante a análise e a melhoria do desempenho do agente autônomo:

• Resultados da execução: saber o resultado final de uma sessão iniciada por um gatilho ajuda você a começar a identificar onde seu agente está tendo sucesso e onde ele precisa de melhorias.
• Uso do gatilho: ver quais gatilhos são usados e com que frequência ajuda você a entender o que seu agente está fazendo e por quê.
• Uso da ferramenta: aprender com que frequência as ferramentas são usadas e com que frequência elas funcionam pode ajudar você a compreender se essas ferramentas são úteis e bem-sucedidas.
• Uso da fonte de conhecimento: aprender com que frequência as fontes de conhecimento individuais são usadas e com que frequência o agente retornou erros.

Para alterar o intervalo de tempo, selecione a lista suspensa de intervalo na parte superior da página Análise. Você pode exibir uma análise para sessões ocorridas nos últimos 90 dias.

Resultados da execução

A seção Resultados da execução mostra um gráfico que controla o tipo de resultado de cada sessão.

Para baixar dados do resultado da execução (dados visualizados no gráfico), selecione o ícone do menu e selecione Baixar CSV.

Você também pode ver um detalhamento das durações das sessões. Selecione Ver detalhes no gráfico Resultados da execução. Um painel lateral é aberto com a duração média de execuções bem-sucedidas e sessões com falha e como a duração das sessões mudou com o passar do tempo.

Longas durações de sessão podem causar atrasos em fluxos de trabalho dos quais o agente faz parte. Você pode aumentar a velocidade do agente dando instruções mais específicas no nível do gatilho ou do agente.

Uso do gatilho

A seção Uso do gatilho mostra um gráfico e métricas que controlam a frequência com que cada gatilho iniciou uma sessão. O gráfico mostra a mudança no uso do gatilho com o passar do tempo.

Selecione Ver detalhes para exibir um detalhamento de todos os gatilhos usados durante o período selecionado, os eventos mais comuns que dispararam uma execução e quais eventos resultaram em mais execuções com falha.

Você pode usar essas informações para segmentar execuções específicas para melhorias e entender a que tipo de eventos os agentes respondem mais.

Uso de ferramentas

A seção Uso de ferramentas mostra um gráfico e métricas que acompanham com que frequência suas ferramentas são iniciadas ao longo do tempo e com que frequência seu agente usou essas ferramentas com sucesso. Também mostra indicadores de tendência sobre a frequência com que seu agente usa cada ferramenta e a porcentagem de ferramentas chamadas usadas com sucesso.

O gráfico exibe as cinco principais ferramentas usadas durante o período de data definido na parte superior da página do Analytics.

Na legenda abaixo do gráfico, focalize qualquer uma das ferramentas para realçar essa ferramenta no gráfico.

Para abrir um painel lateral com uma lista de todas as ferramentas usadas no período especificado, junto com indicadores de tendência, selecione Ver detalhes no gráfico. No painel Uso de ferramentas, você pode exibir cálculos da porcentagem de perguntas usadas para cada ferramenta. Se seu agente tiver agentes filho, você pode escolher exibir os cálculos tanto para o agente principal quanto para os agentes filho (Todos), apenas para o Agente principal ou apenas para o Agente filho.

Uso da fonte de conhecimento

A seção Uso da fonte de conhecimento mostra um gráfico e métricas que acompanham com que frequência as fontes de conhecimento são usadas pelo agente. Ela também mostra indicadores de tendência sobre com que frequência as fontes estão sendo usadas, quantos erros estão sendo gerados e quantas vezes a fonte está sendo usada.

O gráfico exibe as cinco principais fontes de conhecimento usadas no intervalo de datas definido na parte superior da página de Análise.

Na legenda abaixo do gráfico, focalize qualquer uma das fontes de conhecimento para realçar essa fonte de conhecimento no gráfico.

Selecione Ver detalhes para abrir um painel lateral com o uso da fonte de conhecimento e as taxas de erro durante o período selecionado. Você pode usar esses gráficos para identificar quais fontes de conhecimento funcionam bem para ajudar usuários e quais direcionar para melhorias.

No painel lateral, selecione Todos para exibir métricas tanto do agente principal quanto dos agentes filho, Agente principal para métricas apenas sobre o agente principal, ou Agente filho para métricas apenas sobre agentes filho.

• Todas as fontes mostram o percentual de sessões que usaram cada fonte de conhecimento à qual o agente tem acesso.
• Erros mostra a porcentagem de sessões que usaram cada tipo de fonte de conhecimento (por exemplo, SharePoint) que resultou em um erro.

Em Todas as fontes, para ver mais informações no nível de qualquer uma das fontes de conhecimento listadas, selecione uma fonte individual. A dica de ferramenta inclui:

• O número total de perguntas que fizeram referência a essa fonte de conhecimento, assim como o número de reações positivas e negativas.
• Um gráfico de barras empilhado mostrando a divisão dos pesos relativos à qualidade das respostas para perguntas que fazem referência a essa fonte de conhecimento. Passe o mouse sobre qualquer segmento do gráfico de barras para ver o valor do peso relativo desse segmento e o número de perguntas com amostra para chegar a esse valor.