Analizar la efectividad del agente conversacional

La página Análisis de Copilot Studio proporciona información agregada sobre la eficacia general de su agente en todas las sesiones de análisis. La página se divide en áreas principales que se centran en diferentes contextos de rendimiento. La página también muestra un área Información general que proporciona métricas de indicadores clave de rendimiento (KPI) de alto nivel para el agente, un área Ahorro que analiza el tiempo y el ahorro de costos imputables al agente o a las herramientas del agente, y un área de Resumen que proporciona información analítica clave sobre el rendimiento del agente.

Para más información acerca de:

• Las áreas Resumen e Información general , consulte Información general sobre análisis
• El área Ahorro, consulte Analizar el tiempo y el ahorro de costes de los agentes

Hay seis áreas principales en las que hay que centrarse a la hora de revisar y mejorar la eficacia de los agentes conversacionales:

• Temas: los Temas le ayudan a obtener Analytics Insights agrupando preguntas de usuario en categorías sugeridas por IA.
• Resultados de la conversación: saber el resultado final de una conversación le ayuda a empezar a identificar dónde se realiza correctamente el agente y dónde necesita mejorar.
• Agentes: consulte métricas de volumen de llamadas, tasas de éxito y estado actual para agentes secundarios y conectados.
• Tasa de respuestas generada y calidad: comprender cuándo el agente tiene dificultades para proporcionar respuestas a preguntas del usuario y cómo usa orígenes de conocimiento puede ayudarle a encontrar formas de mejorar la tasa de respuestas y la calidad del agente.
• Uso de herramientas: aprender con qué frecuencia se usan las herramientas y la frecuencia con la que se realizan correctamente puede ayudarle a comprender si esas herramientas son útiles y correctas para los usuarios.
• Satisfacción: revisar los comentarios de los usuarios le ayuda a identificar nuevos escenarios y problemas de usuario y a realizar mejoras basadas directamente en lo que solicitan los usuarios.

Puede ver análisis de eventos que se produjeron en los últimos 90 días.

Resultados de la conversación

En la sección Resultados de conversación se muestra un gráfico que realiza un seguimiento del tipo de resultado de cada sesión entre el agente y los usuarios.

El gráfico, tanto si se muestra como un histograma apilado como un gráfico de áreas apiladas, visualiza los volúmenes relativos de resultados, codificados por color y apilados por tipo. Cada uno de los elementos Resueltos, Escalados, Abandonados y Sin conexión se representan mediante sus respectivos colores para cada punto de datos. El eje Y señala el número de sesiones.

Para ver las métricas sobre los resultados individuales específicos de un punto de datos (un día específico), mantenga el puntero sobre un área que represente el color de un resultado de interés (por ejemplo, teal para Abandonado) el día en que le interese. En el ejemplo, hubo 90 sesiones abandonadas que representan el 35,6 % de todos los resultados de la sesión el 24 de noviembre.

En la leyenda debajo del gráfico, mantenga el puntero sobre cualquiera de las etiquetas de resultados para resaltar ese resultado en el gráfico.

Seleccione (activado o desactivado) una o varias de las etiquetas de leyenda para mostrar u ocultar los resultados del gráfico de áreas apiladas. Haga esto para agregar más claridad a los resultados que permanecen cuando:

• Las líneas de resultados individuales aparecen visualmente cerca.
• Quiere ver más claramente cuando las líneas de tendencia son positivas o negativas, pero el agregado de resultados apilados en el gráfico está aplanando estas líneas de tendencia.

En el ejemplo siguiente, se quitaron las etiquetas Escaladas y No administradas del gráfico. La información sobre herramientas muestra que hubo 95 sesiones abandonadas el 23 de noviembre, que representa el 60,5 % de los resultados visibles restantes en el gráfico (siendo la suma de resultados Resueltos + Abandonados).

Para descargar datos de resultados de conversación (datos visualizados en el gráfico), seleccione el icono de menú y seleccione Descargar CSV.

Para abrir un panel lateral con información detallada sobre los resultados de la conversación, seleccione Ver detalles en el gráfico. El panel lateral Resultados de la conversación incluye:

• Un desglose circular de los resultados de la sesión, que muestra la ponderación relativa (expresada como porcentaje) de resultados Resueltos, Escalados y Abandonados.
• Gráfico de barras apiladas que muestra la ponderación relativa (expresada como porcentaje) de las razones de resultados Resolución confirmada y Resolución implícita describiendo todos los resultados de sesiones resueltas.
• Gráfico de barras apiladas que muestra la ponderación relativa (expresada como porcentaje) del Sistema previsto, Sistema no deseado y los motivos de resultados Solicitados por el usuario que describen todos los resultados de sesión escalados.
• Los temas principales que llevaron a cada resultado.

Una sesión se divide en uno de los siguientes dos estados:

• Sin compromiso: una sesión comienza cuando un usuario interactúa con el agente o cuando el agente envía un mensaje proactivo al usuario. La sesión comienza en un estado desconectado.

• Comprometido: el usuario interactúa activamente con el agente. Hay una diferencia en el comportamiento en función del modo de orquestación del agente.

  • Orquestación clásica: una sesión se activa cuando se desencadena uno de los temas siguientes:

    • Tema personalizado desencadenado directamente por el usuario
    • Escalar tema
    • Tema alternativo
    • Tema de refuerzo conversacional

  • Orquestación de IA generativa: una sesión se activa cuando un usuario desencadena directamente un plan e incluye uno de los siguientes elementos:

    • Tema no del sistema
    • Escalar tema
    • Tema alternativo
    • Un Origen de conocimiento
    • Una herramienta

Una sesión activa tiene uno de los siguientes resultados:

También puede establecer el resultado de las herramientas con el parámetro conversationOutcome mediante el editor de código de la herramienta. Por ejemplo, conversationOutcome: ResolvedConfirmed para un éxito confirmado o conversationOutcome: ResolvedImplied para un éxito implícito.

Consulte la documentación de orientación Medición de la participación del Copilot para obtener sugerencias y prácticas recomendadas sobre cómo medir y mejorar la participación.

Agentes

La lista Agentes muestra métricas de estado, rendimiento y volumen de alto nivel para los agentes conectados y secundarios del agente principal. La lista identifica el tipo de relación que el agente de la lista tiene en el agente principal de la columna Tipo. Si un agente es un agente secundario, su tipo es Child. Los agentes conectados tienen un tipo enumerado que refleja dónde se crearon (por ejemplo, Copilot Studio, Azure AI Foundry). La métrica Llamadas para cada agente enumerado describe el volumen de llamadas del agente principal al agente conectado o secundario. La tasa de éxito refleja la proporción de llamadas (como un % de todas las llamadas) que se completaron correctamente. El estado indica el estado administrativo individual para cada agente conectado y secundario.

De forma predeterminada, la lista Agentes muestra los cinco primeros (5) agentes conectados y secundarios del agente principal, clasificados de mayor a menor número total de preguntas. Si hay más de cinco agentes, seleccione Ver todo para mostrar todos los agentes.

Tasa y calidad de las respuestas generadas (versión preliminar)

Con respuestas generativas, el agente puede usar la inteligencia artificial para generar respuestas a las consultas de usuario mediante orígenes de conocimiento y las instrucciones que proporcione. Sin embargo, es posible que el agente no pueda responder a todas las consultas de usuario. La sección Tasa de respuestas generada y calidad realiza un seguimiento, organiza y analiza las consultas sin respuesta y la calidad de respuesta para proporcionarle instrucciones para mejorar el rendimiento de respuesta del agente.

La tasa de respuestas muestra el número de preguntas respondidas y no respondidas dentro del período de tiempo seleccionado y el porcentaje de cambio a lo largo del tiempo.

La calidad de respuesta mide la calidad de las respuestas mediante la inteligencia artificial. Copilot Studio examina un conjunto de ejemplos de preguntas respondidas y analiza diferentes calidades, incluida la integridad, la relevancia y el nivel de base de una respuesta. Si la respuesta cumple un estándar establecido, Copilot Studio etiqueta la respuesta como Buena calidad. Las etiquetas de Copilot Studio responden que no cumplen ese estándar como Mala calidad. Para las respuestas Pobres, Copilot Studio asigna un motivo para la clasificación de calidad y muestra el porcentaje de respuestas asignadas a cada categoría.

Mantenga el puntero sobre cualquier segmento de una barra del gráfico para ver la ponderación relativa de un motivo individual para una etiqueta de calidad Buena o Mala. La información sobre herramientas también indica el número de respuestas muestreadas para llegar al valor de porcentaje calculado.

En la leyenda debajo del gráfico, mantenga el puntero sobre cualquiera de las razones de etiqueta de calidad de resultados para resaltar esa razón en el gráfico.

Puede proporcionar comentarios a Microsoft sobre esta sección con los iconos Pulgar hacia arriba y Pulgar hacia abajo. Use el panel Enviar comentarios a Microsoft para agregar un comentario y compartir archivos relacionados. Al proporcionar comentarios descriptivos como este, podemos trabajar juntos para mejorar continuamente nuestro producto.

1. En el panel Enviar comentarios a Microsoft , describa en lenguaje natural lo que le gusta o no le gusta, en función del icono que haya seleccionado para abrir el panel.
2. Elija si desea compartir el mensaje, la respuesta generada, las muestras de contenido relevantes y los archivos de registro adicionales.
3. Seleccione Enviar.

Seleccione Ver detalles para abrir un panel lateral con las tasas de respuestas a preguntas, el uso del origen de conocimiento y las tasas de error durante el período de tiempo seleccionado. Puede utilizar estos gráficos para identificar qué fuentes de conocimiento funcionan bien para ayudar a los usuarios y a cuáles dirigirse para realizar mejoras.

Si el agente tiene agentes secundarios, en el panel lateral, seleccione Todo para mostrar las métricas tanto para el agente principal como para los agentes secundarios, el agente principal solo para las métricas sobre el agente principal o el agente secundario solo para las métricas sobre los agentes secundarios.

• Las preguntas sin responder muestran los motivos por los que el agente no respondió a una consulta de usuario.
• El uso de origen de conocimiento muestra el porcentaje de sesiones que utilizaron cada uno al que tiene acceso el agente.
• Todos los orígenes muestra el porcentaje de preguntas que se usa cada origen de conocimiento.
• Errores muestra el porcentaje de consultas que generaron un error relacionado con el conocimiento para cada tipo de origen de conocimiento (por ejemplo, SharePoint).

En Todos los orígenes, para ver más información en el nivel de cualquiera de los orígenes de conocimiento enumerados, seleccione un origen individual. La información sobre herramientas incluye:

• Número total de preguntas a las que se hace referencia a este origen de conocimiento, así como el número de reacciones de pulgares hacia arriba y hacia abajo.
• Gráfico de barras apiladas que muestra el desglose de la calidad de las ponderaciones relativas de respuesta para las preguntas que hacen referencia a este origen de conocimiento. Pase sobre cualquier segmento del gráfico de barras para ver el valor de la ponderación relativa de ese segmento y el número de preguntas muestreadas para llegar a ese valor.

Uso de herramientas

La sección Uso de herramientas muestra un gráfico y métricas que realizan un seguimiento de la frecuencia con la que se inician las herramientas a lo largo del tiempo y la frecuencia con la que el agente usó esas herramientas correctamente. También muestra indicadores de tendencia para la frecuencia con la que el agente usa cada herramienta y el porcentaje de herramientas llamadas usadas correctamente.

El gráfico muestra las cinco herramientas principales usadas en el periodo de fechas definido en la parte superior de la página Análisis.

En la leyenda debajo del gráfico, mantenga el puntero sobre cualquiera de las herramientas para resaltar esa herramienta en el gráfico.

Para abrir un panel lateral con una lista de todas las herramientas usadas en el período de tiempo especificado, junto con los indicadores de tendencia, seleccione Ver detalles en el gráfico. En el panel Uso de herramientas, puede mostrar cálculos del porcentaje de preguntas usadas para cada herramienta. Si el agente tiene agentes secundarios, puede elegir mostrar cálculos tanto para el agente principal como para los agentes secundarios (Todos), solo para el agente principal o solo para el agente secundario.

Satisfacción

En la sección Satisfacción se muestran los comentarios de los usuarios recopilados de reacciones a las respuestas de agente y los resultados de la encuesta para una sesión. La satisfacción se divide en dos secciones más pequeñas: una sección Reacciones, que muestra los pulgares hacia arriba, los comentarios de pulgares hacia abajo para respuestas de agente específicas y una sección Resultados de la encuesta, que muestra la puntuación de satisfacción del cliente (CSAT) para toda la sesión.

Los datos de comentarios se almacenan en la tabla de transcripción de conversación de Dataverse. Para obtener una lista de los canales que admiten esta característica, consulte Detalles de características.

Reacciones

En la sección Reacciones se muestran los comentarios de los usuarios recopilados de reacciones a las respuestas de agente y los resultados de la encuesta para una sesión. El gráfico cuenta el número de veces que los usuarios seleccionaron los botones de pulgares hacia arriba (positivo) o pulgares hacia abajo (negativo) disponibles en cada respuesta que recibieron del agente.

Después de que un usuario proporcione una reacción, puede dejar un comentario. Para ver los comentarios, seleccione Ver detalles. En el panel Reacciones , seleccione Todos, Pulgares hacia arriba o Pulgares hacia abajo para filtrar los comentarios.

Para cada reacción, para ver la consulta de usuario asociada y la respuesta del agente, seleccione el botón de alternancia junto al comentario. La página Análisis almacena las consultas de usuario y las respuestas del agente durante un máximo de 28 días.

Los comentarios de los usuarios están activados de forma predeterminada. Puede desactivar esta característica, si lo desea. También puede agregar o editar un descargo de responsabilidad para los usuarios sobre cómo se usan sus comentarios:

1. Abra el agente, vaya a Configuración y busque la sección Comentarios del usuario.

2. Elija si quiere Permitir a los usuarios hacer comentarios al usar este agenteActivado o Desactivado.

3. Agregue o edite un descargo de responsabilidad para que los usuarios sepan cómo se usan sus comentarios. También puede proporcionar información y consejos sobre privacidad.

Resultado de la encuesta

La sección Resultados de la encuesta muestra un gráfico y métricas que realizan un seguimiento de las puntuaciones medias de satisfacción del cliente (CSAT) para las sesiones en las que los clientes responden a una solicitud de final de sesión para realizar una encuesta.

Seleccione Ver detalles para ver cómo se configuran las tendencias de puntuación de satisfacción durante el período de tiempo configurado del informe.