Automatizar aplicaciones web y de escritorio con el uso del equipo (versión preliminar)

[Este artículo es documentación preliminar y está sujeto a modificaciones].

El uso de equipos es una herramienta de Copilot Studio que permite que el agente interactúe y automatice tareas en un equipo Windows. Funciona con sitios web y aplicaciones de escritorio seleccionando botones, eligiendo menús e ingresando texto en campos en la pantalla. Describa en lenguaje natural lo que desea que haga el ordenador y este realizará la tarea en un ordenador que usted haya configurado utilizando un ratón y un teclado virtuales. Con el uso del equipo, los agentes pueden completar tareas incluso cuando no hay ninguna API para conectarse directamente al sistema. Si una persona puede usar una aplicación o un sitio web, la computadora también puede hacerlo. Puede usar el equipo para tareas como la entrada automatizada de datos, el procesamiento de facturas y la extracción de datos.

El uso de la computadora está impulsado por Computer-Using Agents (CUA), un modelo de IA que combina capacidades de visión con razonamiento avanzado para interactuar con interfaces gráficas de usuario (GUI). Debido a que funciona con IA, se adapta a los cambios de la interfaz. Por ejemplo, cuando cambian los botones o las pantallas, la herramienta sigue funcionando sin interrumpir el flujo. Es fácil de usar. Simplemente describe lo que quieres en lenguaje natural. No tendrá que escribir código.

Vea este vídeo para saber cómo la herramienta de uso informático permite a un agente interactuar con una aplicación web.

Requisitos

• La característica está disponible para entornos en los que la región está establecida en Estados Unidos.

• Asegúrese de que el agente tenga habilitado el orquestador generativo para poder usar la computadora.

Agregar el uso informático a su agente

En un nuevo agente o en un agente existente en Copilot Studio, agregue el equipo como herramienta siguiendo estos pasos:

1. Vaya a la sección Herramientas en la sección de su agente y seleccione Agregar herramienta.

2. En el cuadro de diálogo Agregar herramienta, seleccione Nueva herramienta.

3. Seleccione Uso del equipo.

4. Proporcione las instrucciones que describen la tarea que la herramienta debe realizar en el equipo. Verá algunas plantillas de instrucciones para empezar a trabajar. Para obtener más información sobre cómo escribir mejor las instrucciones para usar el equipo, consulte los procedimientos recomendados para obtener instrucciones para usar el equipo.

5. Elija la máquina en la que se ejecuta el equipo. Puede usar el explorador hospedado, una máquina lista para usar para automatizar tareas en sitios web orientados al público o seleccionar una máquina Windows que pueda configurar para su uso en el equipo. Obtenga más información en Configuración de dónde se ejecuta el equipo.

6. Seleccione Agregar y configurar.

   • En la página de configuración, configure estos tres campos:

     • Nombre: Introduzca el nombre para mostrar de la herramienta de uso del ordenador. Este nombre te ayuda a diferenciarlo de otras herramientas que agregas a tu agente.
     • Descripción: Proporcione una breve descripción de lo que hace la herramienta y cuándo se debe usar. Este texto le permite a su agente saber cuándo usar esta herramienta.
     • Instrucciones: Enumere los pasos que debe realizar la herramienta, incluidas las URL y los nombres de las aplicaciones. Para obtener sugerencias, consulte Prácticas recomendadas para instrucciones de uso de computadoras.

7. Revise estos otros campos y configuraciones en la página de configuración que podrían ser relevantes:

   • Entradas: Utilice las entradas para definir valores dinámicos que cambian cada vez que se ejecuta el uso de la computadora. Por ejemplo, si desea rellenar un formulario con un valor diferente en cada ejecución, cree una entrada para ese campo. En el momento de la ejecución, el uso de la computadora combina sus instrucciones con los valores de entrada para completar la tarea.

   • Máquina: seleccione la máquina de destino que el agente utiliza para usar el equipo. Consulte Configuración de dónde se ejecuta el equipo para obtener más detalles sobre cómo elegir el tipo de equipo adecuado en función de sus requisitos.

     • Use Actualizar para actualizar la lista de máquinas.
     • Elija Administrar máquinas para abrir la página de administración de máquinas en el portal de Power Automate.
     • Seleccione Ver detalles de la máquina para abrir la página de detalles de la máquina en el portal de Power Automate.

   • Conexión: conexión que se usa para esta herramienta. Actualice o cree una nueva conexión para cambiar las credenciales usadas.

   • Credenciales para usar: especifique cómo se autentica el equipo durante la ejecución:

     • Credenciales proporcionadas por el creador (por defecto): Esta opción utiliza las credenciales del fabricante y es adecuada para agentes autónomos.

     Advertencia

     Si compartes un agente con esta configuración, cualquiera que lo use puede actuar con el acceso del autor original en la máquina configurada.

     • Credenciales de usuario final: esta opción usa las credenciales de la persona que interactúa con el agente. Cada usuario debe tener credenciales de acceso a la máquina.

   • Supervisión humana: especifique quién debe ponerse en contacto por correo electrónico (Outlook) si el agente de uso del equipo detecta instrucciones potencialmente perjudiciales que podrían modificar el comportamiento del modelo. Cada ejecución del agente y su actividad están vinculadas al usuario que las inició. Si eliges a un revisor que no sea la persona que ejecuta el agente de uso informático, probablemente no verá la actividad porque no inició la ejecución. Por lo tanto, no pueden comprobar ni actuar correctamente en la solicitud. Además, asegúrese de que el destinatario está autorizado y tiene el contexto necesario para controlar dichas solicitudes. El límite de tiempo de respuesta define cuánto tiempo permanece activa la solicitud. Después de este período, la solicitud expira y la ejecución de uso del equipo se detiene si no se recibe ninguna respuesta. Consulte Supervisión humana para obtener más información.

   • Credenciales almacenadas: defina las credenciales que usa el equipo para iniciar sesión en sitios web y aplicaciones. Durante la ejecución, si aparece un símbolo del sistema de inicio de sesión, el equipo usa de forma segura las credenciales que haya definido en esta sección para ese sitio o aplicación. Los valores de las contraseñas de estas credenciales se almacenan en el almacenamiento interno de Power Platform (sin necesidad de configuración) o en un Azure Key Vault que tú proporciones. Aprenda a crear un Azure Key Vault en Crear un Key Vault mediante Azure Portal.

     • Opción de almacenamiento interno: Con esta opción, puedes configurar las credenciales en la herramienta sin ninguna preconfiguración. Los secretos se cifran y almacenan internamente en la Power Platform. Para cada credencial, proporciona los siguientes detalles:

       • Tipo: selecciona entre la aplicación web y la aplicación de escritorio según la superficie que planees usar con esta credencial
       • Nombre de usuario: el nombre de usuario que usas para iniciar sesión en la web o aplicación objetivo.
       • Contraseña: el valor de contraseña utilizado para iniciar sesión en la web o aplicación objetivo.

       Nota

       Los campos de contraseña se admiten en todos los sitios web y la mayoría de las aplicaciones de Windows (WinForms, WPF, UWP, WinUI, Win32), que abarcan la mayoría de los escenarios de los clientes. Es posible que no se admita algún tipo de aplicación, como Electron, Java, Unity, juegos, interfaces de línea de comandos, Citrix u otros entornos virtualizados.

       • Dominio de inicio de sesión o nombre de la aplicación de escritorio: el dominio o el nombre de la aplicación donde introduces las credenciales (por ejemplo, login.microsoft.com o Excel). Para el dominio de inicio de sesión, asegúrate de verificar este dominio, ya que podría diferir de la URL principal del sitio.

     • Opción Azure Key Vault: Con esta opción, puedes configurar las credenciales en la herramienta introduciendo primero el ID de suscripción, el nombre del grupo de recursos y el nombre de Key Vault. Toda esta información está disponible en la página Información general de Key Vault.

       • Para usar secretos de Azure Key Vault con Power Platform:

         • La suscripción de Azure que tiene la bóveda debe tener registrado al proveedor de recursos de PowerPlatform .
         • El usuario que crea la variable de entorno debe tener los permisos adecuados para el recurso de Azure Key Vault.

       • Si aún no lo has hecho, sigue los pasos en Configurar Azure Key Vault y luego proporciona los siguientes detalles:

         • Nombre de usuario: el nombre de usuario que usas para iniciar sesión en la web o aplicación objetivo.
         • Nombre del secreto de Azure: el nombre del secreto en Key Vault que almacena la contraseña para el sitio web o la aplicación.

         Nota

         Los campos de contraseña se admiten en todos los sitios web y la mayoría de las aplicaciones de Windows (WinForms, WPF, UWP, WinUI, Win32), que abarcan la mayoría de los escenarios de los clientes. Es posible que no se admita algún tipo de aplicación, como Electron, Java, Unity, juegos, interfaces de línea de comandos, Citrix u otros entornos virtualizados.

         • Dominio de inicio de sesión o nombre de la aplicación de escritorio: el dominio o el nombre de la aplicación donde introduces las credenciales (por ejemplo, login.microsoft.com o Excel). Para el dominio de inicio de sesión, asegúrate de verificar este dominio, ya que podría diferir de la URL principal del sitio.

   • Control de acceso: de forma predeterminada, el uso del equipo puede funcionar en cualquier sitio web o aplicación. Si desea restringir este acceso, habilite el control de acceso para definir las direcciones URL específicas y las aplicaciones de escritorio a las que se debe limitar el uso del equipo. Puede configurar tanto sitios web como aplicaciones:

     • Sitios web: escriba la dirección del sitio web principal (por ejemplo, example.com). Todas las páginas de ese sitio web se incluyen automáticamente. También puede usar caracteres comodín (*) para subdominios.
       • Ejemplos: www.contoso.com, *.contoso.com, contoso.com
     • Aplicaciones de escritorio: escriba el nombre del producto de la aplicación o el nombre del proceso. Para encontrarlo, presione Ctrl+Mayús+Esc para abrir el Administrador de tareas. A continuación, active la pestaña Procesos.
       • Ejemplos: Microsoft Edge, msedge, Notepad.

     Nota

     El control de acceso solo impide que el modelo realice acciones en sitios web o aplicaciones que no estén en la lista de permitidos. No impide que el modelo los pueda abrir. Por ejemplo, si solo microsoft.com y Microsoft Edge están en la lista de permitidos, el modelo todavía puede usar la barra de búsqueda de Edge para abrir Bing. Sin embargo, una vez abierto Bing, se produce un error en cualquier intento de interactuar con él porque no está en la lista de permitidos.

8. Seleccione Guardar.

Probar el uso del equipo

Probar el uso del equipo es un paso clave en el recorrido de creación. Después de introducir un nombre, una descripción e instrucciones, y guardar la herramienta, seleccione Probar para iniciar la experiencia de prueba.

Después de un breve período de carga, aparece la experiencia de prueba:

• El panel izquierdo muestra tus instrucciones y un registro paso a paso del razonamiento y acciones de la herramienta.
• El panel derecho muestra una vista previa de las acciones en la máquina que configuró para su uso de la computadora.

Cuando finalice la tarea, verá el mensaje Prueba completada. Mientras la prueba está en curso, puede seleccionar Detener prueba para detener inmediatamente todas las acciones en la máquina.

Si el resultado no es el esperado, vaya a la página de configuración y perfeccione las instrucciones. Agregue más detalles para mejorar la precisión. Para obtener orientación, consulte prácticas recomendadas para redactar instrucciones eficaces.

Publicar un agente con uso de computadora

Configura el uso del ordenador y luego publica tu agente. La forma en que se ejecuta el agente depende del escenario. Puede ser autónomo o conversacional:

• Los agentes autónomos se ejecutan automáticamente y realizan tareas en segundo plano.
• Los agentes conversacionales permiten a los usuarios interactuar a través de canales como Microsoft Teams.

El uso de la computadora funciona mejor para los agentes autónomos, que realizan tareas en segundo plano sin interacción del usuario.

También puede aplicar el uso del equipo en experiencias conversacionales, pero tenga en cuenta estas consideraciones:

• Si selecciona Autenticación de usuario como configuración de autenticación, cada usuario que interactúe con el agente en una conversación necesita credenciales válidas para la máquina utilizada por el uso de la computadora.
• Cuando se ejecuta la herramienta, comparte mensajes de razonamiento y capturas de pantalla de la actividad de la máquina en el chat.

Procedimientos recomendados

Para mantenerse productivo y seguro en los entornos digitales actuales, siga las mejores prácticas para el uso de la computadora, especialmente al escribir instrucciones claras y proteger las máquinas.

Prácticas recomendadas para proteger las máquinas

Al configurar máquinas para el uso de equipos que permiten a la inteligencia artificial realizar tareas mediante lenguaje natural, tenga en cuenta estas recomendaciones de seguridad:

Prácticas recomendadas para instrucciones de uso de computadoras

Las instrucciones que escribas determinan qué tan bien funciona el uso de la computadora. Las instrucciones específicas y detalladas ayudan a completar tareas con precisión. Piensa en ello como explicarle una tarea a un colega. Una guía clara y paso a paso ayuda a garantizar el éxito.

Consejos para escribir instrucciones efectivas:

• Sea específico acerca de los sitios web y las aplicaciones. Incluya siempre la URL completa de cualquier sitio web y el nombre exacto de cualquier aplicación que deba utilizar la herramienta. Ejemplo: Abre https://www.microsoft.com y ve a 'Noticias de la empresa'.

• Indique claramente las acciones relevantes. Si quieres que algo se haga, dilo explícitamente, especialmente acciones como enviar un formulario o un correo electrónico. Ejemplo: Una vez que rellenes el formulario, selecciona Enviar. No hace falta pedir permiso.

• Desglosa las interacciones complejas. Para las áreas en las que la IU puede ser más compleja de navegar, explique cada paso en detalle. Ejemplo: Selecciona el icono de Más en la esquina superior derecha. Aparece un desplegable. Una vez que se abra, selecciona el último elemento de la lista.

• Utilice el formato paso a paso para tareas más largas. Las instrucciones largas son más fáciles de seguir cuando se les da formato de lista.

Ejemplo de instrucciones

Explore estos ejemplos de instrucciones para probar el uso de la computadora o utilícelas como referencia para escribir las suyas propias.

Mejores prácticas para extraer datos

Puedes usar el uso del ordenador para extraer datos de sitios web o aplicaciones y luego pasar esos datos a tu agente o a otras herramientas dentro del agente. Para ello, simplemente describe qué información quieres extraer directamente en las instrucciones para uso del ordenador.

Si quieres usar los datos extraídos con otra herramienta (por ejemplo, enviándolos por correo electrónico), especifica esa necesidad en las instrucciones del agente y asegúrate de que ambas herramientas se añadan al agente.

Ejemplo: Usar el ordenador para extraer la información del cliente para el panel de control de la cartera financiera y enviar por correo electrónico los datos extraídos. En este caso, tu agente debe incluir tanto la herramienta de uso del ordenador como la herramienta de correo electrónico.

Extraer valores como texto

Puedes instruir al ordenador para extraer valores específicos y devolverlos en texto plano. Por ejemplo, el siguiente prompt extrae el gestor de cartera y el valor de cartera para el cliente, Fourth Coffee:

1. Go to https://computerusedemos.blob.core.windows.net/web/Portfolio/index.html.
2. Find the row for Fourth Coffee and record the Portfolio Manager name and the current Portfolio Value exactly as shown.
3. Return those two values as the final output.

El agente devuelve solo los dos valores solicitados como texto.

Extraer valores como JSON

También puedes pedir al usuario del ordenador que devuelva la información extraída en formato JSON. Este formato es útil cuando quieres pasar datos estructurados a otra herramienta. El siguiente ejemplo extrae todas las filas de portafolio relacionadas con Contoso y las devuelve como JSON correctamente formateado:

Navigate to https://computerusedemos.blob.core.windows.net/web/Portfolio/index.html, retrieve the portfolio details for all Contoso entities, and return the results as a valid JSON object.

Structure the output so that:
*    Each top-level key is the client name
*    Each value contains the client's portfolio ID, portfolio value, portfolio manager, and last updated date (format: YYYY-MM-DD)
*    Return only the JSON, with no additional text.

Este enfoque garantiza que la salida esté estructurada.

Licencias

Mientras el uso del equipo está en versión preliminar, se factura mediante la característica de acción de Agente con una tasa de facturación de cinco créditos de Copilot. Para obtener más información, consulte Administración y tasa de facturación de Microsoft Copilot Studio.

Cada ejecución del uso de un equipo puede realizar varias acciones, y cada acción cuesta cinco créditos de Copilot.

Por ejemplo, si configura el uso del equipo para rellenar un formulario de parte de horas basado en web, este realiza estas acciones cada vez que se desencadena:

1. Inicie el navegador.

2. Vaya al portal web del parte de horas.

3. Seleccione Crear una nueva hoja de horas.

4. Rellene el campo del formulario Hora de inicio.

5. Rellene el campo del formulario Hora de finalización.

6. Rellene el campo del formulario Código de proyecto.

7. Seleccione el botón Enviar.

En este ejemplo, el equipo usa siete acciones, que consumen un total de 35 mensajes.

Compartir sus comentarios

¿Tiene comentarios sobre el uso de la computadora? Háganoslo saber en computeruse-feedback@microsoft.com.

Información relacionada

Preguntas frecuentes sobre la herramienta de uso del equipo