Nota:
El acceso a esta página requiere autorización. Puede intentar iniciar sesión o cambiar directorios.
El acceso a esta página requiere autorización. Puede intentar cambiar los directorios.
Estas preguntas frecuentes (FAQ) describen el efecto de la IA de las características de asistencia analítica en Copilot Studio.
¿Cómo se usa la inteligencia artificial generativa para el análisis?
Copilot Studio usa IA para medir la calidad de las respuestas generativas y crear clústeres, que se usan para proporcionar información sobre el rendimiento del agente.
Las respuestas generativas usan orígenes de conocimiento de su elección para generar una respuesta. La característica también recopila los comentarios que proporcione. El análisis usa modelos de lenguaje grandes (LLM) para clasificar los mensajes de chat entre usuarios y agentes en niveles que indican la calidad de las respuestas generativas. Copilot Studio compila estos indicadores para proporcionar a los creadores un resumen del rendimiento general de un agente.
La agrupación en clústeres usa LLM para ordenar los mensajes de los usuarios en grupos en función de los temas compartidos y proporcionar a cada grupo un nombre descriptivo. Copilot Studio usa los nombres de estos clústeres para proporcionar diferentes tipos de información que puede usar para mejorar el agente.
Calidad de las respuestas para respuestas generativas
¿Cuál es la calidad de la respuesta para su uso?
Los creadores usan el análisis de calidad de respuesta para detectar información sobre el uso y el rendimiento del agente y, a continuación, crean acciones para mejorar el agente. Actualmente, el análisis se puede usar para comprender si la calidad de las respuestas generativas de un agente cumple las expectativas del creador.
Además de la calidad general, la calidad del análisis de respuesta identifica las áreas en las que un agente funciona mal o no puede realizar los objetivos previstos del creador. En función de eso, el creador puede definir áreas en las que las respuestas generativas funcionan mal y tomar medidas para mejorar su calidad.
Además, al identificar un rendimiento deficiente, hay procedimientos recomendados que pueden ayudar a mejorar la calidad. Por ejemplo, después de identificar orígenes de conocimiento con un rendimiento deficiente, un creador puede editar el origen de conocimiento o dividir el origen de conocimiento en varios orígenes más centrados para aumentar la calidad.
¿Qué datos se usan para crear análisis de calidad de respuesta?
La calidad del análisis de respuesta se calcula mediante una muestra de respuestas generativas. Requiere la consulta de usuario, la respuesta del agente y los orígenes de conocimiento pertinentes que usa el modelo generativo para la respuesta generativa.
La calidad del análisis de respuesta usa esa información para evaluar si la calidad de respuesta generativa es buena y, si no es así, por qué la calidad es deficiente. Por ejemplo, la calidad de la respuesta puede identificar respuestas incompletas, irrelevantes o no totalmente fundamentadas.
¿Cuáles son las limitaciones de calidad de los análisis de respuestas y cómo pueden los usuarios minimizar el impacto de las limitaciones?
La calidad del análisis de respuesta no se calcula mediante todas las respuestas generativas. En su lugar, el análisis mide un ejemplo de sesiones de agente de usuario. Los agentes por debajo de un número mínimo de respuestas generativas correctas no pueden recibir una calidad de resumen analítico de respuesta.
Hay casos en los que los análisis no evalúan una respuesta individual con precisión. En un nivel agregado, debe ser preciso para la mayoría de los casos.
La calidad del análisis de respuesta no proporciona un desglose de las consultas específicas que llevaron a un rendimiento de baja calidad. Tampoco proporcionan un desglose de los temas u orígenes de conocimiento comunes que se usaron cuando se producen respuestas de baja calidad.
Los análisis no se calculan para respuestas que usan conocimientos generativos.
Parte de la calidad de las métricas de las revisiones de análisis de respuestas es la integridad de las respuestas. Evalúa cuánto se completa la respuesta en relación con el documento recuperado.
Si no se recupera un documento pertinente que contiene información adicional a la pregunta dada, la métrica de integridad no se evalúa según este documento.
¿Qué protecciones existen en Copilot Studio para la IA responsable?
Los usuarios de agentes no ven los resultados de análisis; solo están disponibles para los creadores de agentes y administradores.
Los creadores y administradores solo pueden usar la calidad del análisis de respuesta para ver el porcentaje de respuestas de buena calidad y las razones predefinidas para un rendimiento deficiente. Los creadores solo pueden ver el porcentaje de respuestas de buena calidad y motivos previos.
Hemos probado el análisis de calidad de las respuestas exhaustivamente durante el desarrollo para garantizar un buen rendimiento. Sin embargo, en raras ocasiones, la calidad de las evaluaciones de respuesta puede ser inexacta.
Temas de preguntas de usuario
¿Cuál es el uso previsto de los Temas?
Esta característica analiza automáticamente grandes conjuntos de consultas de usuario y los agrupa en temas de alto nivel denominados temas. Cada tema representa un solo tema de alto nivel al que se preguntan los usuarios. Los temas proporcionan una vista no supervisada y controlada por datos del contenido del usuario. Esta vista ayuda a los equipos a comprender lo que más les importan los usuarios sin el paso manual de revisar miles de consultas.
¿Qué datos se usan para crear clústeres?
La característica Temas usa consultas de usuario que desencadenan respuestas generativas. Los temas analizan todas las consultas de los últimos siete días para generar nuevos temas sugeridos.
Los temas usan similitud semántica para agrupar consultas. A continuación, se usa un modelo de lenguaje para generar el título y la descripción de cada clúster. También se recopilan comentarios de los creadores (como los pulgares hacia arriba y abajo) para mejorar la calidad de la agrupación en clústeres.
¿Cuáles son las limitaciones de la agrupación en clústeres para temas y cómo pueden los usuarios mitigar estas limitaciones?
La agrupación en clústeres correcta en temas depende del volumen de consultas. Si no hay suficientes consultas o si las consultas no están relacionadas entre sí, Copilot Studio podría agrupar consultas en temas demasiado amplios o demasiado estrechos.
Los temas pueden dividir ocasionalmente temas similares o combinar temas no relacionados.
El cambio del lenguaje en las consultas puede afectar a la coherencia de los clústeres a lo largo del tiempo.
Los creadores pueden revisar los temas periódicamente y proporcionar comentarios para mejorar la calidad de los nombres.
¿Qué protecciones existen para Temas en Copilot Studio en relación con la IA responsable?
Los temas solo son visibles para los creadores y administradores. La moderación de contenido se aplica al generar nombres y descripciones para reducir el riesgo de salidas perjudiciales o inapropiadas.