Compartir a través de


Análisis de preguntas de usuario por tema (versión preliminar)

[Este artículo es documentación preliminar y está sujeto a modificaciones].

Los temas son agrupaciones de preguntas tomadas del grupo de preguntas de usuario que desencadenan respuestas generativas. Las preguntas de usuario relacionadas se agrupan en temas organizados de forma inteligente, pero en menos grupos y más fáciles de administrar. Con los temas puede obtener información de nivel de categoría sobre la intención del cliente, identificar temas frecuentes y centrar los esfuerzos en áreas que necesitan mejorar. A continuación, puede explorar en profundidad las preguntas individuales de un tema y supervisar el rendimiento en este nivel más pormenorizado para comprender mejor las métricas de nivel de tema.

Importante

Este artículo contiene la documentación de la versión preliminar de Microsoft Copilot Studio y está sujeto a modificaciones.

Las características en versión preliminar no están pensadas para su uso en producción y pueden tener funcionalidad restringida. Estas características están disponibles antes del lanzamiento oficial para que pueda tener acceso anticipado y proporcionar comentarios.

Si está creando un agente listo para producción, consulte Información general sobre Microsoft Copilot Studio.

Propuesta de valor clave

La característica Temas analiza automáticamente todas las preguntas no clasificadas que desencadenaron respuestas de IA generativas en la última semana y sugiere temas basados en este análisis. Este proceso se ejecuta semanalmente. Entre las ejecuciones semanales de sugerencias de tema , la característica realiza una clasificación diaria de las nuevas preguntas que desencadenan respuestas de IA generativas, agregando estos datos a las métricas de tema. La lista de temas sugeridos se actualiza periódicamente para que los temas permanezcan relevantes y reflejen los datos de usuario más recientes. Esta actualización automática le ahorra tiempo:

  • Evaluación continua de la relevancia del tema con los nuevos datos
  • Clasificación automática de preguntas individuales en temas
  • Automatización de la recuperación de datos de métricas sin procesar para cada tema
  • Cálculo de datos de métricas agregadas para cada tema

Prerrequisitos

Para optimizar el valor de la característica Temas, incluida la posibilidad de explorar en profundidad las preguntas y respuestas de los componentes de cada tema:

Temas sugeridos y preguntas clasificadas

Copilot Studio sugiere temas basados en registros de preguntas que se han hecho en el pasado reciente. Al adaptar cada tema sugerido para adaptarse a la estructura de su organización y la estrategia de experiencia del cliente, puede obtener una mejor información a través de indicadores clave de rendimiento (KPI) específicos del tema. Esta granularidad más profunda facilita la búsqueda de dónde los agentes rinden por debajo de lo esperado.

Los temas ayudan a los creadores a comprender qué preguntas hacen los usuarios al agente y cómo funciona el agente. En la ejecución inicial del análisis basado en temas, Copilot Studio examina todas las preguntas de la semana pasada y sugiere hasta 10 temas que agrupan preguntas de usuario basadas en similitudes entre sí. Cada tema incluye métricas como el número total de preguntas, la tasa de respuestas y la reacción del usuario. Los datos mostrados en la lista Temas se ajustan en función del período de análisis seleccionado.

Después de la ejecución inicial, Copilot Studio clasifica las nuevas preguntas a los temas existentes de forma continua, diaria y genera una nueva lista de temas sugeridos semanalmente.

Nota:

  • Debe haber al menos 50 preguntas con respuestas generativas registradas en los últimos siete días antes de que Copilot Studio genere temas sugeridos.
  • Es posible que una pregunta que desencadena una respuesta generativa de IA se clasifique en más de un tema. Este escenario puede volverse más común en el modo de orquestación generativa , donde una respuesta del agente puede provenir de varias fuentes diferentes.
  • Las preguntas que permanecen sin clasificar se colocan en un tema sin clasificar .
  • La ejecución de las sugerencias semanales puede tardar unos minutos en completarse. Durante este tiempo, la sección Temas no está disponible para su uso.

Lista de temas

De forma predeterminada, la lista Temas muestra los cinco (5) temas principales, clasificados por el número total de preguntas clasificadas para cada tema. Seleccione Ver todo para expandir la lista para mostrar todos los temas.

Con las ejecuciones de sugerencias de tema semanales automáticas y la clasificación diaria de preguntas, la característica Temas evoluciona automáticamente y se adapta a los cambios en el comportamiento del usuario.

Captura de pantalla de la lista Temas en la pestaña Análisis.

La lista Temas muestra métricas para cada tema de la lista.

Columna Description
Nombre Nombre del tema.
Total de preguntas Número total de preguntas clasificadas en este tema durante el período de tiempo configurado.
Preguntas respondidas Proporción de preguntas totales que dieron lugar a una respuesta a la pregunta del usuario.
Reacciones Recuento sin procesar de reacciones positivas (pulgares hacia arriba) y negativas (pulgares hacia abajo) de las preguntas clasificadas a cada tema.

Nota:

¿Por qué hay "Preguntas sin responder" en mi tema cuando todas las preguntas clasificadas activaron respuestas de IA Generativa?

Por definición, solo las preguntas que desencadenaron una respuesta de IA generativa se pueden clasificar en un tema. Pero desencadenar una llamada a respuestas generativas no es lo mismo que tener una respuesta a una consulta de usuario.

Por ejemplo, es habitual que haya un tema de impulso conversacional conectado a una fuente de conocimiento. En este caso, si no se reconoce una intención, es posible que este tema podría activarse, lo que llama a la fuente de conocimiento aunque no haya una respuesta en esa fuente de conocimiento.

Explorar en profundidad un tema

Para profundizar en las preguntas agrupadas en un tema, seleccione el tema en la lista Temas . Al explorar en profundidad, se abre un panel específico del tema seleccionado, que muestra las métricas en los niveles del tema y las preguntas individuales.

Nota:

La lista de temas incluye:

  • Hasta las 100 preguntas más recientes clasificadas en cada tema.
  • Preguntas de los últimos 30 días, independientemente del período de tiempo configurado. Si el período configurado está completamente fuera de los últimos 30 días, Copilot Studio muestra una notificación de que la lista no está disponible.

Captura de pantalla de un panel de exploración en profundidad del tema.

En el panel de exploración en profundidad de un tema, las métricas en el nivel de tema se muestran primero.

Métrica de nivel temático Description
Total de preguntas Número total de preguntas (clasificadas en este tema) que desencadenaron respuestas de IA generativas para el período de tiempo configurado.
Preguntas respondidas Proporción de las preguntas totales de este tema que dieron lugar a una respuesta a la pregunta del usuario.
Preguntas sin respuesta Proporción de las preguntas totales de este tema que no han resultado en una respuesta a la pregunta del usuario.
Reacciones Conteo bruto de reacciones positivas (pulgares hacia arriba) y negativas (pulgares hacia abajo) de las preguntas clasificadas bajo este tema, como se registra en el mecanismo de comentarios de Learn Feedback.

Para mostrar un desglose de la calidad de la respuesta para una muestra de preguntas respondidas y todas las fuentes de conocimiento a las que se hace referencia en este tema, seleccione Mostrar más.

Captura de pantalla del gráfico de barras apiladas en la que se muestran ponderaciones relativas de la calidad de respuesta de las preguntas muestreadas para un tema.

En el panel Métricas del tema , para ver más información sobre cualquier valor de calidad de respuesta en el nivel del tema, en Calidad de respuesta, coloque el cursor sobre un segmento de barra individual. La información sobre herramientas incluye el valor de la ponderación relativa de ese segmento y el número de preguntas muestreadas para llegar a ese valor.

Captura de pantalla de las ponderaciones relativas de la calidad de la respuesta para un tema determinado, que muestra información sobre herramientas para un valor de calidad.

Para ver más información a nivel de cualquiera de las fuentes de conocimiento enumeradas, en Uso de fuentes de conocimiento, seleccione una fuente de conocimiento individual. La información sobre herramientas incluye:

  • El número total de preguntas en este tema que hacían referencia a esta fuente de conocimiento, así como el número de reacciones de pulgares hacia arriba y hacia abajo .
  • Un gráfico de barras apiladas que muestra el desglose de la calidad de las ponderaciones relativas de las respuestas para las preguntas que hacen referencia a esta fuente de conocimiento en el tema. Pase el cursor sobre cualquier segmento del gráfico de barras para ver el valor de la ponderación relativa de ese segmento y el número de preguntas muestreadas para llegar a ese valor.

Captura de pantalla de las ponderaciones relativas de la calidad de la respuesta para una fuente de conocimiento determinada dentro de un tema, que muestra información sobre herramientas para un valor de calidad.

En el panel de desglose de un tema individual, la sección Preguntas de usuario enumera todas las preguntas que activaron respuestas generativas de IA en el período de tiempo configurado y se clasificaron en este tema, y muestra métricas por pregunta . Las métricas de nivel de pregunta incluyen:

Dimensión o métrica de nivel de pregunta Description
Pregunta (dimensión) Pregunta (que desencadenó una respuesta de IA generativa) clasificada en este tema.
¿Respondió? Respuesta a la pregunta de si se respondió o no la consulta del usuario. Los valores posibles son Answered y Unanswered.
Calidad de respuesta 1 Respuesta a la pregunta de cuál era la calidad de respuesta a la consulta del usuario. Los valores posibles son Poor y Good.
Reacción Dos parámetros, siendo la métrica booleana Pulgar hacia arriba/Pulgar hacia abajo, y un parámetro Comment basado en texto.
Fuente de conocimiento Lista separada por comas de fuentes de conocimiento a las que se hace referencia en esta pregunta en este tema.

1 La calidad de la respuesta no siempre está disponible y solo se muestra si la pregunta se muestreó para el análisis de calidad.

Seleccione cualquier pregunta de la lista para mostrar más información sobre la pregunta en un panel Detalles de la pregunta . Este panel incluye:

Parámetro detallado de nivel de pregunta Description
Marca de tiempo Marca de tiempo de la instancia más reciente de cuando se respondió a la pregunta.
Consulta de usuario La pregunta formulada.
Respuesta Respuesta de IA generativa.
Valor de Me gusta/No me gusta Valor de la instancia más reciente de esta pregunta para el parámetro Thumbs up /Thumbs down .
Comentario Comentario adicional opcional basado en texto, proporcionado por el usuario, además de la reacción Pulgar arriba / Pulgar abajo .
Calidad de respuesta 1 Respuesta a la pregunta de cuál era la calidad de respuesta a la consulta del usuario. Los valores posibles son Poor y Good.
Motivo2 En el caso de que la calidad de la respuesta sea Poor, este parámetro explica por qué.

1 La calidad de la respuesta no siempre está disponible y solo se muestra si la pregunta se muestreó para el análisis de calidad.

2 Si la calidad de la respuesta es Good o si la pregunta no se muestreó, el parámetro Reason no tiene asignado ningún valor.

Captura de pantalla de los detalles de las métricas a nivel de pregunta dentro de un tema.