Nota
O acesso a esta página requer autorização. Podes tentar iniciar sessão ou mudar de diretório.
O acesso a esta página requer autorização. Podes tentar mudar de diretório.
Estas perguntas frequentes (FAQ) descrevem o efeito da IA das funcionalidades de assistência analítica no Copilot Studio.
Como é que a IA generativa é usada para análise?
O Copilot Studio utiliza IA para medir a qualidade das respostas generativas e criar clusters, que são usados para fornecer informações sobre o desempenho do agente.
As respostas generativas utilizam fontes de conhecimento à sua escolha para gerar uma resposta. A funcionalidade também recolhe quaisquer comentários que forneça. A análise utiliza grandes modelos de linguagem (LLMs) para classificar as mensagens de chat entre utilizadores e agentes em níveis que indicam a qualidade das respostas gerativas. O Copilot Studio compila estes indicadores para dar aos criadores um resumo do desempenho geral de um agente.
O clustering utiliza LLMs para ordenar as mensagens dos utilizadores em grupos com base em assuntos partilhados e fornecer a cada grupo um nome descritivo. O Copilot Studio usa os nomes destes clusters para fornecer diferentes tipos de informações que pode usar para melhorar o seu agente.
Qualidade das respostas para respostas generativas
Qual é a utilização pretendida da qualidade da resposta?
Os criadores utilizam a análise da qualidade da resposta para descobrir informações sobre a utilização e o desempenho dos agentes e, em seguida, criam ações para os melhorar. Atualmente, a análise pode ser usada para perceber se a qualidade das respostas generativas de um agente corresponde às expectativas do criador.
Para além da qualidade global, a análise de qualidade da resposta identifica as áreas onde um agente tem um desempenho fraco ou não cumpre os objetivos pretendidos pelo criador. Com base nisso, o criador pode definir áreas onde as respostas generativas têm um desempenho fraco e tomar medidas para melhorar a sua qualidade.
Além disso, ao identificar um desempenho fraco, existem melhores práticas que podem ajudar a melhorar a qualidade. Por exemplo, após identificar fontes de conhecimento com baixo desempenho, um criador pode editar a fonte de conhecimento ou dividi-la em múltiplas fontes mais focadas para aumentar a qualidade.
Que dados são usados para criar análises sobre a qualidade da resposta?
A análise da qualidade das respostas é calculada usando uma amostra de respostas generativas. Requer a consulta do utilizador, a resposta do agente e as fontes de conhecimento relevantes que o modelo generativo utiliza para a resposta generativa.
A análise de qualidade da resposta usa essa informação para avaliar se a qualidade da resposta generativa é boa e, se não, então porque é que a qualidade é fraca. Por exemplo, a qualidade da resposta pode identificar respostas incompletas, irrelevantes ou não totalmente fundamentadas.
Quais são as limitações da análise da qualidade da resposta e como podem os utilizadores minimizar o impacto dessas limitações?
A qualidade das análises de resposta não é calculada usando todas as respostas generativas. Em vez disso, a análise mede uma amostra de sessões de utilizador-agente. Agentes abaixo de um número mínimo de respostas generativas bem-sucedidas não podem receber um resumo analítico da qualidade da resposta.
Há casos em que a análise de dados não avalia a resposta individual com precisão. A um nível agregado, deve ser preciso na maioria dos casos.
A análise da qualidade da resposta não fornece uma discriminação das consultas específicas que deram origem a um desempenho de baixa qualidade. Também não fornecem uma discriminação das fontes de conhecimento comum ou dos tópicos usados quando ocorrem respostas de baixa qualidade.
As análises não são calculadas para respostas que usam conhecimento generativo.
Parte da métrica de qualidade das respostas que a análise avalia é a integridade da resposta. Avalia até que ponto a resposta está completa em relação ao documento obtido.
Se um documento relevante que contenha informação adicional à pergunta dada não for obtido, a métrica de integridade não é avaliada de acordo com este documento.
Que proteções existem no Copilot Studio para uma IA responsável?
Os utilizadores dos agentes não veem resultados de análise; estão disponíveis apenas para criadores e administradores de agentes.
Os criadores e administradores só podem usar análises de qualidade de resposta para ver a percentagem de respostas de boa qualidade e quaisquer razões pré-definidas para o baixo desempenho. Os criadores só conseguem ver a percentagem de respostas de boa qualidade e predefinir motivos.
Testámos análises para a qualidade das respostas de forma minuciosa durante o desenvolvimento, para garantir um bom desempenho. No entanto, em ocorrências raras, a qualidade das avaliações de resposta pode ser imprecisa.
Temas das perguntas dos utilizadores
Qual é a utilização pretendida dos Temas?
Esta funcionalidade analisa automaticamente grandes conjuntos de consultas de utilizadores e agrupa-as em tópicos de alto nível denominados temas. Cada tema representa um único assunto de alto nível sobre o qual os utilizadores fizeram perguntas. Os temas fornecem uma visão não supervisionada e condicionada por dados do conteúdo do utilizador. Esta vista ajuda as equipas a compreender o que mais interessa aos utilizadores sem o passo manual de rever milhares de consultas.
Que dados são utilizados para criar clusters?
A funcionalidade Temas utiliza consultas do utilizador que acionam respostas generativas. Os Temas analisam todas as consultas dos últimos sete dias para gerar novas sugestões de temas.
Os temas utilizam a semelhança semântica para agrupar as consultas. Um modelo de linguagem é então utilizado para gerar o título e a descrição de cada cluster. Os comentários dos criadores (como os polegares para cima/para baixo) também são recolhidos para melhorar a qualidade do clustering.
Quais são as limitações do clustering para os Temas e como podem os utilizadores mitigar essas limitações?
O êxito do clustering em temas depende do volume da consulta. Se não existirem consultas suficientes ou se as consultas estiverem muito pouco relacionadas entre si, o Copilot Studio pode agrupar as consultas em temas demasiado amplos ou demasiado restritos.
Os temas podem, por vezes, dividir tópicos semelhantes ou unir outros não relacionados.
A mudança de linguagem nas consultas pode afetar a consistência dos clusters ao longo do tempo.
Os criadores podem rever temas regularmente e fornecer comentários para melhorar a qualidade dos nomes.
Que proteções para os Temas estão em vigor no Copilot Studio em termos de IA responsável?
Os temas só são visíveis para criadores e administradores. A moderação de conteúdos é aplicada ao gerar nomes e descrições para reduzir o risco de resultados prejudiciais ou inadequados.