Analisar o desempenho do agente autónomo

A página Análise no Copilot Studio fornece informações agregadas do estado de funcionamento geral do seu agente com acionadores de eventos em sessões de análise. A página também apresenta uma área de Descrição Geral que fornece métricas de indicadores chave de desempenho (KPI) de alto nível para o seu agente, uma área de Poupança que analisa poupanças de tempo e custos atribuídas ao seu agente ou às suas ferramentas, e uma área de Resumo que fornece informações analíticas chave sobre o desempenho do seu agente.

Para obter mais informações:

• As áreas de Resumo e Descrição Geral, veja Descrição geral de análise
• Na área de Poupança, veja Analisar poupanças de tempo e custos para agentes

Há quatro áreas principais nas quais se deve concentrar ao rever e melhorar o desempenho dos agentes autónomos:

• Resultados da execução: conhecer o resultado final de uma sessão iniciada por um acionador ajuda-o a começar a identificar onde o seu agente está a ter êxito e onde precisa de melhorar.
• Utilização de acionadores: ver que acionadores são utilizados e com que frequência ajuda-o a compreender o que o seu agente está a fazer e porquê.
• Utilização de ferramentas: saber com que frequência as ferramentas são utilizadas e com que frequência são têm sucesso pode ajudá-lo a perceber se essas ferramentas são úteis e bem-sucedidas.
• Utilização da origem de conhecimento: saiba com que frequência as origens de conhecimento individuais são usadas e com que frequência o agente devolveu erros.

Para alterar o intervalo de tempo, selecione a lista pendente de intervalo na parte superior da página Análise. Pode ver a análise de sessões que ocorreram nos últimos 90 dias.

Resultados da execução

A secção Resultados da execução mostra um gráfico que monitoriza o tipo de resultado de cada sessão.

Para transferir os dados dos resultados da execução (dados visualizados no gráfico), selecione o ícone de menu e selecione Transferir CSV.

Também pode ver uma discriminação das durações das sessões. Selecione Ver detalhes no gráfico Resultados da execução. É apresentado um painel lateral com a duração média das execuções bem-sucedidas e das sessões falhadas e a forma como a duração das sessões mudou ao longo do tempo.

As sessões de longa duração podem causar atrasos nos fluxos de trabalho de que o seu agente faz parte. Pode melhorar a velocidade do seu agente fornecendo instruções mais específicas ao nível do acionador ou do agente.

Utilização do acionador

A secção Utilização de acionadores mostra um gráfico e métricas que monitorizam com que frequência cada acionador iniciou uma sessão. O gráfico mostra a alteração da utilização do acionador ao longo do tempo.

Selecione Ver detalhes para ver uma discriminação de todos os acionadores utilizados durante o período selecionado, os eventos mais comuns que acionaram uma execução e quais os eventos que resultaram no maior número de execuções falhadas.

Pode usar estas informações para direcionar execuções específicas para melhorias e entender a que tipo de eventos os seus agentes respondem mais.

Utilização de ferramentas

A secção de Utilização de ferramentas mostra um gráfico e métricas que monitorizam com que frequência as suas ferramentas são iniciadas ao longo do tempo e com que frequência o seu agente as utilizou com sucesso. Também mostra indicadores de tendência sobre a frequência com que o seu agente usa cada ferramenta e a percentagem de ferramentas chamadas que são usadas com sucesso.

O gráfico apresenta as cinco principais ferramentas usadas no período de datas definido na parte superior da página Análise.

Na legenda abaixo do gráfico, faça pairar o cursor sobre qualquer uma das ferramentas para realçar essa ferramenta no gráfico.

Para abrir um painel lateral com uma lista de todas as ferramentas usadas no período especificado, juntamente com indicadores de tendência, selecione Ver detalhes no gráfico. No painel de Utilização de ferramentas, pode apresentar cálculos da percentagem de perguntas utilizadas para cada ferramenta. Se o seu agente tiver agentes subordinados, pode optar por apresentar os cálculos tanto para o agente principal como para os agentes subordinados (Tudo), apenas para o Agente principal ou apenas para o Agente subordinado.

Utilização da origem de conhecimento

A secção Utilização da origem de conhecimento mostra um gráfico e métricas que controlam a frequência com que as suas origens de conhecimento são usadas pelo agente. Também mostra indicadores de tendência de com que frequência são utilizadas as suas origens, quantos erros estão a ser gerados e quantas vezes a origem está a ser utilizada.

O gráfico apresenta as cinco principais origens de conhecimento usadas no intervalo de datas definido na parte superior da página Análise.

Na legenda abaixo do gráfico, faça pairar o cursor sobre qualquer uma das fontes de conhecimento para realçar essa fonte de conhecimento no gráfico.

Selecione Ver detalhes para abrir um painel lateral com o utilização de origens de conhecimento e as taxas de erro durante o período selecionado. Pode utilizar estes gráficos para identificar que origens de conhecimento funcionam bem para ajudar os utilizadores e quais sinalizar para melhorias.

No painel lateral, selecione Todos para mostrar métricas tanto para o agente principal como para agentes subordinados, Agente principal para métricas apenas sobre o agente principal, ou Agente subordinado para métricas apenas sobre agentes subordinados.

• Todas as origens mostra a percentagem de sessões que utilizaram todas as origens de conhecimento às quais o agente tem acesso.
• Erros mostra a percentagem de sessões que utilizaram cada tipo de origem de conhecimento (por exemplo, SharePoint) que resultou num erro.

Em Todas as fontes, para ver mais informações ao nível de qualquer uma das fontes de conhecimento listadas, selecione uma fonte individual. A descrição inclui:

• O número total de perguntas que referenciavam esta fonte de conhecimento, bem como o número de reações de polegar para cima e polegar para baixo.
• Um gráfico de barras empilhadas que mostra a discriminação dos pesos relativos da qualidade das respostas para perguntas que referenciam esta fonte de conhecimento. Passe o rato sobre qualquer segmento do gráfico de barras para ver o valor do peso relativo desse segmento e o número de perguntas amostradas para chegar a esse valor.