Observação
O acesso a essa página exige autorização. Você pode tentar entrar ou alterar diretórios.
O acesso a essa página exige autorização. Você pode tentar alterar os diretórios.
A página Análise no Copilot Studio apresenta um insight agregado sobre a eficácia geral do agente em todas as sessões de análise. A página é dividida em áreas principais que focam em diferentes contextos de performance. A página também exibe uma área de Visão Geral que fornece métricas de alto nível e indicadores-chave de desempenho (KPI) para seu agente, uma área de Poupança que analisa a economia de tempo e custos atribuída ao seu agente ou às ferramentas do seu agente, e uma área de Resumo que fornece insights analíticos importantes sobre o desempenho do seu agente.
Para saber mais sobre:
- As áreas Resumo e Visão Geral, consulte Visão Geral de Análise
- A área Poupança, consulte Analisar poupança de tempo e custo para agentes
Há seis áreas principais para se concentrar ao analisar e aumentar a eficácia do agente de conversa:
- Temas: os Temas ajudam você a obter o Analytics Insights ao agrupar perguntas dos usuários em categorias sugeridas por IA.
- Resultados da conversa: saber o resultado final de uma conversa ajuda você a começar a identificar onde seu agente está tendo sucesso e onde ele precisa de melhorias.
- Agentes: consulte métricas do volume de chamadas, taxas de êxito e status atual para agentes filho e conectados.
- Taxa de resposta e qualidade gerada: entender quando o agente tem dificuldade em fornecer respostas às perguntas dos usuários e como ele utiliza fontes de conhecimento pode ajudar você a encontrar maneiras de melhorar a taxa e a qualidade de resposta do seu agente.
- Uso de ferramentas: aprender com que frequência as ferramentas são usadas e com que frequência elas funcionam pode ajudar a entender se essas ferramentas são úteis e bem-sucedidas para os usuários.
- Satisfação: revisar os comentários do usuário ajuda a identificar novos cenários e problemas, além de fazer melhorias diretamente com base no que seus usuários estão solicitando.
Você pode visualizar análises de eventos que ocorreram nos últimos 90 dias.
Resultados da conversa
A seção Resultados da conversa mostra um gráfico que controla o tipo de resultado de cada sessão entre o agente e os usuários.
O gráfico, seja exibido como um histograma empilhado ou um gráfico de área empilhado, visualiza os volumes relativos de resultados, codificados por cores e empilhados por tipo. Cada Resolvido, Escalonado, Abandonado e Não engajado é representado pelas respectivas cores de cada ponto de dados. O eixo y indica o número de sessões.
Para ver métricas sobre resultados individuais específicos de um ponto de dados (um dia específico), focalize uma área representando a cor de um resultado de interesse (por exemplo, azul-petróleo para Abandonado) no dia em que você tem interesse. No exemplo, houve 90 sessões abandonadas, representando 35,6% de todos os resultados das sessões em 24 de novembro.
Na legenda abaixo do gráfico, focalize qualquer um dos rótulos de resultado para realçar esse resultado no gráfico.
Selecione (ligado ou desligado) um ou diversos rótulos de legenda para mostrar ou ocultar resultados do gráfico de áreas empilhadas. Faça isso para dar mais clareza aos resultados que permanecem quando:
- As linhas de resultado individuais parecem visualmente próximas.
- Você deseja ver mais claramente quando as linhas estão tendendo para o positivo ou o negativo, mas a agregação de resultados empilhados no gráfico está achatando essas linhas de tendência.
Observação
Ao remover um resultado do gráfico assim, você remove esse resultado do conjunto maior de resultados exibidos. A remoção de resultados exibidos altera o valor percentual exibido de qualquer resultado restante em relação ao pool porque altera o denominador da proporção.
No exemplo a seguir, os rótulos Escalonado e Sem engajamento foram removidos do gráfico. A dica de ferramenta mostra que houve 95 sessões abandonadas em 23 de novembro, o que representa 60,5% dos resultados visíveis restantes no gráfico (sendo a soma dos resultados Resolvidos + Abandonados).
Para baixar dados de resultado de conversa (dados visualizados no gráfico), selecione o ícone do menu 
e selecione Baixar CSV.
Observação
Se algum resultado for removido do gráfico quando você baixar, os dados deles não serão exibidos no CSV.
Para abrir um painel lateral com informações detalhadas sobre os resultados da conversa, selecione Ver detalhes no gráfico. O painel lateral Resultados da conversa inclui:
- Um detalhamento do gráfico de pizza dos resultados da sessão, mostrando a ponderação relativa (expressa como percentual) dos resultados Resolvidos, Escalonados e Abandonados .
- Um gráfico de barras empilhado mostrando a ponderação relativa (expressa em percentual) dos motivos de resultados Resolvidos confirmados e Resolvidos implícitos descrevendo todos os resultados das sessões resolvidas.
- Um gráfico de barras empilhado mostrando a ponderação relativa (expressa como percentual) dos motivos de resultados Desejados pelo sistema, Não desejados pelo sistema e Solicitados pelo usuário descrevendo todos os resultados da sessão escalonada.
- Os principais temas que levaram a cada resultado.
Observação
Para ver uma dica de ferramenta com informações de contagem bruta, focalize qualquer um dos segmentos do gráfico de pizza ou do gráfico de barras empilhadas.
Uma sessão se enquadra em um dos dois estados a seguir:
Não engajada: Uma sessão começa quando um usuário interage com o agente ou quando seu agente envia uma mensagem proativa para o usuário. A sessão começa em um estado não engajada.
Engajado: o usuário interage ativamente com o agente. Há uma diferença de comportamento com base no modo de orquestração do agente.
Orquestração clássica: uma sessão se envolve quando um dos seguintes tópicos é acionado:
- Tópico personalizado acionado diretamente pelo usuário
- Escalar tópico
- Tópico de fallback
- Tópico de otimização de conversa
Orquestração de IA generativa: uma sessão se torna ativa quando um usuário aciona diretamente um plano e inclui um dos seguintes elementos:
- Tópico que não seja do sistema
- Escalar tópico
- Tópico de fallback
- Uma Fonte de Conhecimento
- Uma ferramenta
Uma sessão engajada tem um dos seguintes resultados:
| Categoria de resultado | Resultado | Descrição |
|---|---|---|
| Resolvidas | Uma sessão é encerrada com êxito. Existem dois tipos de sessões resolvidas: Resolvidas confirmadas e Resolvidas implícitas. | |
| Resolvido confirmado | Uma sessão é considerada Resolvida confirmada quando o tópico Fim da conversa é disparado e o usuário confirma que a interação foi um êxito. | |
| Resolvido implícito | Uma sessão é Implícita resolvida quando a sessão é considerada concluída sem a confirmação do usuário, mas com base na lógica do agente. O estado Resolvido implícito depende do agente usar orquestração de IA Clássica ou generativa: - Orquestração clássica: uma sessão é considerada Implícita resolvida quando o tópico Fim da conversa é disparado e o usuário permite que a sessão atinja o tempo limite sem dar uma confirmação. - Orquestração de IA generativa: uma sessão é considerada Implícita resolvida quando uma sessão termina e não há planos ativos restantes. Um plano ativo é aquele que está aguardando a entrada de um usuário. |
|
| Escalonado | Uma sessão termina, mas é considerada Escalonada quando o tópico Escalonar é disparado ou um nó Transferir para agente é executado (a sessão de análise atual termina, independentemente da transferência da conversa para um agente humano ou não). Existem três tipos de sessões escalonadas: Desejada pelo sistema, Não desejada pelo sistema e Solicitada pelo usuário. | |
| Desejada pelo sistema | Uma sessão é escalonada automaticamente por causa de um conjunto de regras de negócios automático por um criador. O escalonamento é um resultado esperado da conversa e não é algo que precise de investigação ou alteração. Exemplo: um usuário gostaria de transferir mais de US$ 25.000 para terceiros. Esse valor excede um limite em uma regra de negócios, e a sessão é escalonada automaticamente como resultado. |
|
| Não desejado pelo sistema | Um escalonamento ocorre automaticamente como resultado de uma sessão exceder um ou mais limites estabelecidos por um criador. Normalmente, isso indica que o usuário está preso na conversa e precisa de ajuda. Exemplo: uma sessão será escalonada depois de três falhas em realizar uma tarefa em especial. |
|
| Solicitado pelo usuário | Uma sessão é escalada porque houve uma solicitação do usuário explícita durante a conversa. Exemplo: um usuário insere |
|
| Abandonado | Uma sessão é encerrada e é considerada Abandonada quando uma sessão engajada atinge o tempo limite após 30 minutos e não atingiu um estado resolvido ou escalonado. |
Você também pode definir o resultado das ferramentas com o parâmetro conversationOutcome usando o editor de código de ferramentas. Por exemplo, conversationOutcome: ResolvedConfirmed para sucesso confirmado ou conversationOutcome: ResolvedImplied para sucesso implícito.
Consulte a documentação de orientação Medindo o engajamento do copiloto para obter sugestões e melhores práticas sobre como medir e melhorar a participação.
Agentes
A lista de Agentes exibe métricas de volume, desempenho e status de alto nível para agentes conectados e filhos conectados do seu agente principal. A lista identifica o tipo de relacionamento que o agente listado tem com seu agente principal na coluna Tipo. Se um agente for um agente filho, seu tipo é Child. Agentes conectados possuem um tipo listado que reflete onde foram criados (por exemplo, Copilot Studio, Azure AI Foundry). A métrica de Chamadas para cada agente listado descreve o volume de chamadas do agente principal para o agente conectado ou filho.
A taxa de sucesso reflete a proporção de chamadas (em porcentagem de todas as chamadas) que foram concluídas com sucesso.
Status indica o status administrativo individual de cada agente conectado e agente filho.
Por padrão, a lista de Agentes exibe os cinco (5) principais agentes conectados e filhos do seu agente principal, classificados do maior ao menor número total de perguntas. Se houver mais de cinco agentes, selecione Ver todos para exibir todos os agentes.
Observação
O botão Ver tudo é visível apenas se houver mais de cinco agentes conectados ou filhos ao seu agente principal.
Taxa de respostas geradas e qualidade (versão preliminar)
Importante
Este artigo contém a documentação da versão preliminar do Microsoft Copilot Studio e está sujeito a alterações.
A versão prévia dos recursos não foi criada para uso em ambientes de produção e pode ter funcionalidade restrita. Esses recursos são disponibilizados antes de um lançamento oficial para que você possa ter acesso antecipado e fornecer comentários.
Se você estiver criando um agente preparado para produção, consulte Visão geral do Microsoft Copilot Studio.
Com respostas generativas, seu agente pode usar IA para gerar respostas às perguntas dos usuários usando fontes de conhecimento e as instruções que você fornece. No entanto, seu agente talvez não consiga responder todas as consultas dos usuários. A seção Taxa de resposta e qualidade gerada acompanha, organiza e analisa as consultas não respondidas e a qualidade das respostas para fornecer orientações sobre como melhorar o desempenho das respostas do seu agente.
A Taxa de resposta mostra o número de perguntas respondidas e não respondidas dentro do período selecionado e a variação percentual ao longo do tempo.
A qualidade das respostas mede a qualidade das respostas usando IA. O Copilot Studio analisa um conjunto de perguntas respondidas e analisa diferentes qualidades, incluindo integridade, relevância e nível de fundamentação de uma resposta. Se a resposta atender a um padrão estabelecido, o Copilot Studio classifica a resposta como qualidade Boa. O Copilot Studio rotulou respostas que não atendem a esse padrão como qualidade Ruim. Para respostas Ruins, o Copilot Studio atribui um motivo para a avaliação de qualidade e mostra a porcentagem de respostas atribuídas a cada categoria.
Focalize qualquer segmento de uma barra no gráfico para ver a ponderação relativa de um motivo individual para um rótulo de qualidade Boa ou Ruim. A dica de ferramenta também indica o número de respostas de amostra para chegar ao valor percentual calculado.
Na legenda abaixo do gráfico, focalize qualquer um motivos do rótulo de qualidade para realçar esse motivo no gráfico.
Você pode fazer comentários para a Microsoft sobre esta seção com os ícones de Polegares para cima e Polegares para baixo
. Use o painel Enviar comentários para a Microsoft para adicionar um comentário e compartilhar arquivos relacionados. Ao fornecer comentários descritivos como esse, podemos trabalhar juntos para melhorar continuamente nosso produto.
- No painel Enviar comentários para a Microsoft, descreva em linguagem natural o que você gosta e o que não gosta, dependendo do ícone que você selecionou para abrir o painel.
- Escolha se deseja compartilhar prompt, resposta gerada, exemplos de conteúdo relevantes e arquivos de log adicionais.
- Selecione Enviar.
Selecione Ver detalhes para abrir um painel lateral com taxas de resposta a perguntas, uso da fonte de conhecimento e taxas de erro durante o período selecionado. Você pode usar esses gráficos para identificar quais fontes de conhecimento funcionam bem para ajudar usuários e quais direcionar para melhorias.
Se seu agente tiver agentes filho, no painel lateral, selecione Todos para exibir métricas tanto do agente principal quanto dos agentes filho, Agente principal para métricas apenas sobre o agente principal, ou Agente filho para métricas apenas sobre agentes filho.
- Perguntas sem resposta mostram os motivos pelos quais o agente não respondeu a uma consulta do usuário.
- Uso da fonte de conhecimento mostra a porcentagem de sessões que usaram cada fonte de conhecimento à qual o agente tem acesso.
- Todas as fontes mostram o percentual de perguntas que usaram cada fonte de conhecimento.
- Erros mostra a porcentagem de consultas que resultaram em um erro relacionado ao conhecimento para cada tipo de fonte de conhecimento (por exemplo, SharePoint).
Em Todas as fontes, para ver mais informações no nível de qualquer uma das fontes de conhecimento listadas, selecione uma fonte individual. A dica de ferramenta inclui:
- O número total de perguntas que fizeram referência a essa fonte de conhecimento, assim como o número de reações positivas e negativas.
- Um gráfico de barras empilhado mostrando a divisão dos pesos relativos à qualidade das respostas para perguntas que fazem referência a essa fonte de conhecimento. Passe o mouse sobre qualquer segmento do gráfico de barras para ver o valor do peso relativo desse segmento e o número de perguntas com amostra para chegar a esse valor.
Uso de ferramentas
A seção Uso de ferramentas mostra um gráfico e métricas que acompanham com que frequência suas ferramentas são iniciadas ao longo do tempo e com que frequência seu agente usou essas ferramentas com sucesso. Também mostra indicadores de tendência sobre a frequência com que seu agente usa cada ferramenta e a porcentagem de ferramentas chamadas usadas com sucesso.
O gráfico exibe as cinco principais ferramentas usadas durante o período de data definido na parte superior da página do Analytics.
Na legenda abaixo do gráfico, focalize qualquer uma das ferramentas para realçar essa ferramenta no gráfico.
Para abrir um painel lateral com uma lista de todas as ferramentas usadas no período especificado, junto com indicadores de tendência, selecione Ver detalhes no gráfico. No painel Uso de ferramentas, você pode exibir cálculos da porcentagem de perguntas usadas para cada ferramenta. Se seu agente tiver agentes filho, você pode escolher exibir os cálculos tanto para o agente principal quanto para os agentes filho (Todos), apenas para o Agente principal ou apenas para o Agente filho.
Satisfação
A seção Satisfação mostra os comentários do usuário coletados das reações às respostas do agente e aos resultados da pesquisa para uma sessão. A satisfação é dividida em duas seções menores: uma seção Reações , que exibe comentários com polegares para cima, polegares para baixo para respostas específicas do agente e uma seção de Resultados da Pesquisa, que exibe a pontuação de satisfação do cliente (CSAT) para toda a sessão.
Os dados de comentários são armazenados na tabela de transcrição de conversa no Dataverse. Para obter uma lista de canais que dão suporte a esse recurso, consulte Detalhes do recurso.
Reações
A seção Reações mostra os comentários dos usuários coletados das reações às respostas do agente e aos resultados da pesquisa para uma sessão. O gráfico conta o número de vezes que os usuários selecionaram os polegares para cima (positivo) ou para baixo (negativo) botões disponíveis em cada resposta que receberam do seu agente.
Após um usuário fornecer uma reação, ele pode deixar um comentário. Para ver comentários, selecione Ver detalhes. No painel Reações, selecione Tudo, Polegares para cima ou Polegares para baixo para filtrar os comentários.
Observação
- Os agentes publicados no canal do Microsoft 365 Copilot não dão suporte a reações.
- Para exibir comentários, você deve ter o direito de acesso Visualizador das transcrições de bot.
Para cada reação, para ver a consulta do usuário associada e a resposta do agente, selecione a alternância ao lado do comentário. A página do Analytics armazena as consultas dos usuários e respostas do agente por até 28 dias.
Os comentários do usuário estão Ativados por padrão. Você poderá desativar esse recurso, se quiser. Você também pode adicionar ou editar um aviso de isenção de responsabilidade para usuários sobre como os comentários são usados:
Abra o agente, vá para Configurações e localize a seção Comentários do usuário.
Ative ou Desative a opção Permitir que os usuários forneçam comentários ao usar este agente.
Adicione ou edite um aviso de isenção de responsabilidade para que os usuários saibam como os comentários são usados. Você também pode fornecer informações de privacidade e dicas.
Resultados da pesquisa
A seção Resultados da pesquisa exibe um gráfico e métricas que acompanham as pontuações médias de satisfação do cliente (CSAT) para as sessões em que os clientes respondem a uma solicitação de fim de sessão para realizar uma pesquisa.
Observação
Pontuações de 1 e 2 mapeia para Insatisfeito, uma pontuação é 3 considerada Neutra e pontuações de 4 e 5 mapeia para Satisfeito.
Selecione Ver detalhes para ver como a pontuação de satisfação é tendência durante o período configurado do relatório.
