Observação
O acesso a essa página exige autorização. Você pode tentar entrar ou alterar diretórios.
O acesso a essa página exige autorização. Você pode tentar alterar os diretórios.
Essas perguntas frequentes (FAQ) descrevem o efeito da IA nos recursos de assistência analítica no Copilot Studio.
Como a IA generativa é usada para análises?
O Copilot Studio usa IA para medir a qualidade das respostas generativas e criar clusters, que são usados para fornecer insights sobre o desempenho dos agentes.
As Respostas generativa usam fontes de conhecimento de sua escolha para gerar uma resposta. O recurso também coleta quaisquer comentários que você forneça. A análise de dados usa modelos de linguagem grandes (LLMs) para classificar as mensagens de chat entre usuários e agentes em níveis que indicam a qualidade das respostas generativas. O Copilot Studio compila esses indicadores para fornecer aos criadores um resumo do desempenho geral de um agente.
O clustering utiliza LLMs para classificar as mensagens dos usuários em grupos, com base em assuntos compartilhados e fornecer a cada grupo um nome descritivo. O Copilot Studio usa os nomes desses clusters para fornecer diferentes tipos de insights que você pode usar para melhorar seu agente.
Qualidade das respostas para respostas generativas
Qual é o uso pretendido da qualidade da resposta?
Os criadores usam análises de qualidade de resposta para descobrir insights sobre o uso e desempenho do agente e, em seguida, criam ações para a melhoria dos agentes. Atualmente, a análise pode ser usada para entender se a qualidade das respostas generativas de um agente atende às expectativas do criador.
Além da qualidade geral, a análise de qualidade da resposta identifica áreas em que um agente tem desempenho inadequado ou não alcança os objetivos pretendidos pelo criador. Com base nisso, o criador pode definir áreas onde as respostas generativas têm desempenho inadequado e tomar medidas para melhorar sua qualidade.
Além disso, ao identificar desempenho inadequado, existem melhores práticas que podem ajudar a melhorar a qualidade. Por exemplo, após identificar fontes de conhecimento com baixo desempenho, um criador pode editar a fonte de conhecimento ou dividir a fonte em várias, fontes mais focadas para aumentar a qualidade.
Quais dados são usados para criar análises de qualidade da resposta?
A análise da qualidade das respostas é calculada usando uma amostra de respostas generativas . Ele requer a consulta do usuário, a resposta do agente e as fontes de conhecimento relevantes que o modelo generativo usa para a resposta generativa.
A qualidade da análise de resposta usa essas informações para avaliar se a qualidade da resposta generativa é boa e, caso contrário, por que a qualidade é ruim. Por exemplo, a qualidade da resposta pode identificar respostas incompletas, irrelevantes ou não totalmente fundamentadas.
Quais são as limitações de qualidade de análise da resposta e como os usuários podem minimizar o impacto das limitações?
A qualidade da análise da resposta não é calculada usando todas as respostas generativas. Em vez disso, a análise mede uma amostra de sessões de usuário-agente. Agentes abaixo de um número mínimo de respostas generativas bem-sucedidas não podem receber um resumo analítico de qualidade de resposta.
Há casos em que a análise não avalia a resposta individual com precisão. Em um nível agregado, ela deve ser precisa na maioria dos casos.
A análise de qualidade das respostas não fornece um detalhamento das consultas específicas que levaram ao baixo desempenho de qualidade. Elas também não fornecem um detalhamento das fontes de conhecimento comum ou dos tópicos usados quando ocorrem respostas de baixa qualidade.
Análises não são calculadas para respostas que usam conhecimento generativo.
Parte das métricas que a qualidade das respostas avalia pela análise é a integridade das respostas. Ela avalia o quanto a integridade da resposta em relação ao documento recuperado.
Se um documento relevante que contém informações adicionais à pergunta dada não for recuperado, a métrica de integridade não é avaliada de acordo com este documento.
Quais proteções estão implantadas dentro do Copilot Studio para IA responsável?
Usuários de agentes não veem resultados analíticos; eles estão disponíveis apenas para criadores de agentes e administradores.
Criadores e administradores só podem usar análises de qualidade de resposta para ver a porcentagem de respostas de qualidade e quaisquer motivos pré-definidos para o baixo desempenho. Os criadores só podem ver a porcentagem de respostas de boa qualidade e motivos predefinidos.
Testamos análises para a qualidade das respostas de forma detalhada durante o desenvolvimento para garantir um bom desempenho. No entanto, em ocorrências raras, a qualidade das avaliações de resposta pode ser imprecisa.
Temas das perguntas de usuário
Qual é o uso desejado dos temas?
Este recurso analisa automaticamente grandes conjuntos de consultas dos usuários e os agrupa em tópicos de alto nível chamados temas. Cada tema representa um único assunto de alto nível sobre o qual os usuários perguntaram. Os temas dão uma visão não supervisionada e controlada por dados do conteúdo do usuário. Essa exibição ajuda as equipes a compreender o que mais importa para os usuários, sem a etapa manual de revisar milhares de consultas.
Quais dados são usados para criar clusters?
O recurso Temas usa consultas de usuário que disparam respostas generativas. O Temas analisa todas as consultas dos últimos sete dias para gerar novos temas sugeridos.
O Temas usa a similaridade semântica para agrupar consultas. Um modelo de linguagem acaba sendo usado para gerar o título e a descrição de cada cluster. O feedback de criadores (como polegares para cima/baixo) também é coletado para aumentar a qualidade do clustering.
Quais são as limitações do clustering para Temas e como os usuários podem mitigar essas limitações?
O sucesso do clustering em temas depende do volume de consultas. Se não houver consultas suficientes ou se elas forem muito desconexas entre si, o Copilot Studio poderá agrupar consultas em temas muito abrangentes ou restritos.
Às vezes, o Temas pode dividir tópicos semelhantes ou mesclar não relacionados.
A mudança de linguagem em consultas pode afetar a consistência de clusters com o passar do tempo.
Os criadores podem revisar regularmente temas e fazer comentários para melhorar a qualidade da nomenclatura.
Quais proteções do Temas estão implantadas dentro do Copilot Studio em termos de IA responsável?
Os temas só estão visíveis para criadores e administradores. A moderação de conteúdo é aplicada durante a geração de nomes e descrições para reduzir o risco de resultados prejudiciais ou indevidos.