Preguntas más frecuentes sobre la herramienta de uso del equipo

¿Qué es la herramienta de uso del equipo?

El uso de equipos es una herramienta que puede agregar a los agentes de Copilot Studio diseñados para automatizar tareas en sitios web y aplicaciones. Los usuarios proporcionan descripciones de tareas en lenguaje natural y la herramienta automatiza los clics del mouse y las acciones de teclado en consecuencia. Por ejemplo, podría indicar a la herramienta que abra un PDF y use su contenido para rellenar un formulario web. La herramienta interpreta visualmente la pantalla y ejecuta los clics y pulsaciones de tecla necesarios, emulando interacciones humanas.

¿Qué puede hacer la herramienta de uso del equipo?

El equipo usa la herramienta procesa los datos de píxeles de pantalla para comprender el contenido en pantalla y realiza tareas mediante clics de mouse virtuales y entradas de teclado. La herramienta puede administrar flujos de trabajo de varios pasos, controlar escenarios inesperados y adaptarse dinámicamente a los cambios de pantalla, lo que le permite realizar diversas tareas digitales, como navegar por sitios web y rellenar formularios sin necesidad de API especializadas.

La herramienta de uso del equipo sigue un bucle iterativo basado en tres pasos:

• Percepción: captura capturas de pantalla para comprender visualmente el estado actual de la pantalla del equipo.

• Razonamiento: evalúa el estado actual, las acciones anteriores y las capturas de pantalla a través de un enfoque de cadena de pensamiento, que le permite adaptar sus acciones de forma eficaz.

• Acción: realiza acciones como hacer clic, escribir o desplazarse hasta que se complete la tarea o requiera una entrada adicional del usuario.

¿Cuáles son los usos previstos de la herramienta de uso del equipo?

La herramienta de uso del equipo está pensada para automatizar las interacciones de usuario con sitios web y aplicaciones a través de un mouse virtual y un teclado, especialmente útiles en escenarios en los que las API no están disponibles.

¿Cómo se evaluó la herramienta de uso del equipo? ¿Qué métricas se usan para medir el rendimiento?

La herramienta de uso de equipos se evaluó rigurosamente mediante escenarios reales a lo largo de sus fases de diseño, desarrollo e implementación. Los métodos de evaluación incluían investigaciones, estudios de impacto y pruebas en diferentes escenarios para medir la precisión, la confianza del usuario y la utilidad. Las métricas cualitativas y cuantitativas se supervisan periódicamente para mantener un alto rendimiento y una experiencia positiva del usuario. La disponibilidad de la herramienta también se garantiza al cumplir los Acuerdos de Nivel de Servicio establecidos.

¿Cuáles son las limitaciones de la herramienta de uso del equipo? ¿Cómo pueden los usuarios minimizar el impacto de las limitaciones de la herramienta de uso de la herramienta al usar el sistema?

El uso de equipos es una tecnología innovadora con riesgos de seguridad conocidos y limitaciones funcionales. Le estamos capacitando para experimentar con él. Esta funcionalidad de fase temprana permite la automatización de determinadas tareas basadas en equipos, aunque su rendimiento varía en gran medida según el caso de uso. Para usarlo de forma eficaz y responsable, comprenda sus limitaciones actuales:

Limitaciones conocidas

• La tasa de éxito varía según la tarea: la herramienta funciona mejor en las tareas basadas en web (aproximadamente 80% éxito), pero disminuye significativamente en las aplicaciones de escritorio (aproximadamente 35% éxito).
• Rendimiento incoherente: la misma tarea puede producir resultados diferentes en función de los cambios visuales o de tiempo.
• Dificultades con determinados controles de interfaz de usuario: el uso del equipo puede tener dificultades para interactuar con elementos de interfaz no estándar o dinámicos, como listas desplegables, selectores de fechas o widgets personalizados.
• Bucles y estados bloqueados: en algunos casos, el agente entra en un bucle o se bloquea cuando la pantalla no coincide con las expectativas o los cambios de forma impredecible.
• Desafíos con tareas complejas: aunque es eficaz para acciones simples, la herramienta podría tener dificultades con interfaces gráficas detalladas o tareas que implican manipulación de texto intrincada.
• No para casos de uso confidenciales o de alto riesgo: la herramienta no está pensada para:
  • Recomendación o puntuación en dominios confidenciales, como contratación, atención sanitaria o finanzas
  • Realizar transacciones financieras
  • Acciones perjudiciales, como correo no deseado o información incorrecta
  • Uso compartido de datos fuera de la organización sin autorización adecuada

Cómo minimizar las limitaciones

Para mejorar la confiabilidad, los usuarios deben proporcionar instrucciones claras y detalladas al configurar tareas. Esto ayuda a reducir los errores y aumenta las tasas de éxito de tareas.

Supervisión humana de instrucciones potencialmente maliciosas

Los agentes de uso de computadoras pueden encontrar instrucciones dañinas o maliciosas, a menudo denominadas ataques de inyección rápida, donde los comandos ocultos en capturas de pantalla, páginas web u otras entradas intentan influir en las acciones de manera no deseada. Para reducir estos riesgos, opere el uso de computadoras en entornos aislados y confiables y aplique comprobaciones de validación sólidas antes de ejecutar cualquier instrucción.

La supervisión humana agrega más visibilidad y control al permitir que los revisores autorizados validen las acciones marcadas como potencialmente dañinas o maliciosas. Cuando se detectan estos riesgos, el uso del ordenador pausa la ejecución y notifica a los revisores asignados, que pueden decidir si continuar o detener la ejecución. Las comprobaciones de seguridad realizadas por el agente de uso del ordenador pueden activarse por una sola respuesta, entrada o captura de pantalla, o por múltiples elementos de dicho contexto. Las comprobaciones de seguridad están destinadas a provocar una revisión humana antes de que el agente de uso del ordenador realice acciones potencialmente irreversibles o no permitidas, pero el agente de uso del ordenador puede cometer errores al realizar dichas comprobaciones. Por ejemplo, el agente de uso del ordenador puede no detectar ciertas acciones, o puede solicitar una revisión donde la seguridad no es una preocupación. Los controles de seguridad no sustituyen el diseño responsable y la orientación del agente.

Esta función solicita la revisión de acciones potencialmente irreversibles o no permitidas, pero actualmente no admite solicitudes generales de confirmación, solicitudes de información faltante u otros tipos de comprobaciones de seguridad.

¿Qué factores operativos y configuraciones permiten un uso eficaz y responsable de la herramienta de uso del equipo?

La herramienta de uso del equipo funciona mejor cuando se proporcionan instrucciones de usuario claras y detalladas. Los usuarios deben proporcionar sugerencias precisas sobre las interacciones de sitios web o aplicaciones para mejorar la confiabilidad y la precisión durante la ejecución de la tarea. Para mayor visibilidad y control, habilite la supervisión humana asignando uno o más revisores autorizados en la página de configuración de herramientas. Cuando el modelo detecta instrucciones potencialmente malintencionadas, estos revisores reciben notificaciones para validar y decidir si continuar o detener la ejecución.

¿Cómo puedo proporcionar comentarios sobre la herramienta de uso del equipo?

¿Tiene comentarios sobre la herramienta de uso del equipo? Correo electrónico computeruse-feedback@microsoft.com.