Automatizar aplicativos web e de área de trabalho com o uso do computador (versão preliminar)

[Este artigo faz parte da documentação de pré-lançamento e está sujeito a alterações.]

O uso do computador é uma ferramenta no Copilot Studio que permite ao agente interagir e automatizar tarefas em um computador Windows. Ele funciona com sites e aplicativos de desktop selecionando botões, escolhendo menus e inserindo texto em campos na tela. Descreva em linguagem natural aquilo que você deseja que o computador faça, e ele realiza a tarefa em um computador configurado por você usando mouse e teclado virtuais. Com o uso do computador, os agentes podem concluir tarefas mesmo quando não há uma API para se conectar diretamente ao sistema. Se uma pessoa pode usar um aplicativo ou site, o computador também pode. Você pode usar o computador em tarefas como entrada de dados automatizada, processamento de faturas e extração de dados.

O uso do computador é alimentado por Computer-Using Agents (CUA), um modelo de IA que combina recursos de visão com raciocínio avançado para interagir com interfaces gráficas do usuário (GUIs). Por ser alimentado por IA, ele se adapta às mudanças de interface. Por exemplo, quando botões ou telas mudam, a ferramenta continua funcionando sem quebrar seu fluxo. É simples de usar. Basta descrever o que você quer em linguagem natural. Não é necessário gravar códigos.

Assista a este vídeo para saber como a ferramenta de uso do computador permite que um agente interaja com um aplicativo Web.

Requisitos

• O recurso está disponível para ambientes onde a região está definida como Estados Unidos.

• Verifique se o agente tem o orquestrador generativo habilitado para acessar o uso do computador.

Adicionar o uso do computador ao agente

Em um agente novo ou já existente no Copilot Studio, adicione o uso do computador como uma ferramenta seguindo estes passos:

1. Vá para a seção Ferramentas em seu agente e selecione Adicionar ferramenta.

2. Na caixa de diálogo Adicionar ferramenta, selecione Nova ferramenta.

3. Selecione Uso do computador.

4. Forneça as instruções que descrevem a tarefa que a ferramenta deve realizar no computador. Você vê alguns modelos de instrução para introdução. Para saber mais sobre como gravar as melhores instruções para uso do computador, confira melhores práticas para instruções para uso do computador.

5. Escolha o computador no qual o uso do computador é executado. Você pode usar o navegador hospedado, um computador pronto para uso para automação de tarefas em sites públicos, ou selecionar um computador Windows na qual possa configurar para uso do computador. Saiba mais em Configurar onde o uso do computador é executado.

6. Selecione Adicionar e configurar.

   • Na página de configuração, configure estes três campos:

     • Nome: insira o nome de exibição da ferramenta de uso do computador. Esse nome ajuda a diferenciá-lo de outras ferramentas adicionadas ao agente.
     • Descrição: insira uma descrição resumida do que essa ferramenta faz e quando usá-la. Este texto permite que seu agente saiba quando usar essa ferramenta.
     • Instruções: liste as etapas que a ferramenta deve realizar, inclusive URLs e nomes de aplicativo. Para obter dicas, consulte Práticas recomendadas para instruções de uso do computador.

7. Analise esses outros campos e configurações na página de configuração que podem ser relevantes:

   • Entradas: use entradas para definir valores dinâmicos que mudem sempre que o uso do computador é executado. Por exemplo, se você quiser preencher um formulário com um valor diferente a cada execução, crie uma entrada para esse campo. No momento da execução, o uso do computador combina suas instruções com os valores de entrada para concluir a tarefa.

   • Computador: selecione o computador de destino usado pelo agente para executar o uso do computador. Consulte Configurar onde o uso do computador é executado para obter mais detalhes sobre como escolher o tipo de computador certo com base nos requisitos.

     • Use Atualizar para atualizar a lista de computadores.
     • Escolha Gerenciar computadores para abrir a página de gerenciamento dos computadores no portal do Power Automate.
     • Selecione Ver detalhes do computador para abrir a página de detalhes do computador no portal do Power Automate.

   • Conexão: conexão usada para esta ferramenta. Atualize ou crie uma nova conexão para alterar as credenciais usadas.

   • Credenciais a serem usadas: especifique como o uso do computador se autentica durante a execução:

     • Credenciais fornecidas pelo fabricante (padrão): Esta opção usa as credenciais do fabricante e é adequada para agentes autônomos.

     Aviso

     Se você compartilhar um agente com essa configuração, qualquer pessoa que o use pode agir com o acesso do autor original na máquina configurada.

     • Credenciais do usuário final: esta opção usa as credenciais da pessoa que interage com o agente. Cada usuário deve ter credenciais de acesso ao computador.

   • Supervisão humana: especifique quem deve ser contatado por email (Outlook) se o agente de uso do computador detectar instruções potencialmente perigosas que possam alterar o comportamento do modelo. Cada agente é executado, e a atividade está vinculada ao usuário que a iniciou. Se você escolher um revisor diferente da pessoa que está usando o agente de uso do computador, provavelmente ele não vê a atividade porque não iniciou a execução. Por isso, eles não podem verificar nem agir devidamente em relação à solicitação. Além disso, verifique se o destinatário tem autorização e o contexto necessário para processar essas solicitações. O limite de tempo de resposta define por quanto tempo a solicitação permanece ativa. Depois desse período, a solicitação vai expirar, e a execução de uso do computador será interrompida se nenhuma resposta for recebida. Consulte Supervisão humana para obter mais informações.

   • Credenciais armazenadas: defina as credenciais usadas pelo computador para entrar em sites e aplicativos. Durante a execução, se uma solicitação de entrada for exibida, o uso do computador usará de maneira segura qualquer credencial definida por você para esse site ou aplicativo. Os valores das senhas dessas credenciais são armazenados no armazenamento interno do Power Platform (sem necessidade de configuração) ou em um Azure Key Vault que você fornece. Aprenda a criar um Azure Key Vault em Criar um cofre de chaves usando o portal do Azure.

     • Opção de armazenamento interno: Com essa opção, você pode configurar credenciais na ferramenta sem nenhuma pré-configuração. Os segredos são criptografados e armazenados internamente na Power Platform. Para cada credencial, forneça os seguintes detalhes:

       • Tipo: escolha entre o site e o aplicativo desktop dependendo de qual superfície você pretende usar essa credencial
       • Nome de usuário: o nome de usuário que você usa para fazer login no site ou aplicativo de destino.
       • Senha: o valor da senha usado para fazer login no site ou aplicativo de destino.

       Observação

       Os campos de senha são compatíveis em todos os sites e na maioria dos aplicativos do Windows (WinForms, WPF, UWP, WinUI, Win32), o que abrange a maioria dos cenários do cliente. Alguns tipos de aplicativo, como Electron, Java, Unity, jogos, interfaces de linha de comando, Citrix ou outros ambientes virtualizados, talvez não sejam compatíveis.

       • Domínio de login ou nome do aplicativo de desktop: o domínio ou nome do aplicativo onde você digita as credenciais (por exemplo, login.microsoft.com ou Excel). Para o domínio de login, certifique-se de verificar esse domínio, pois ele pode diferir da URL principal do site.

     • Opção Azure Key Vault: Com essa opção, você pode configurar credenciais na ferramenta primeiro digitando o ID de assinatura, nome do grupo de recursos e nome do Key Vault. Todas essas informações estão disponíveis na página Visão Geral do Key Vault.

       • Para usar segredos do Azure Key Vault com o Power Platform:

         • A assinatura do Azure que possui o cofre deve ter o provedor de recursos do PowerPlatform registrado.
         • O usuário que cria a variável de ambiente deve ter permissões indicadas para o recurso do Azure Key Vault.

       • Se ainda não fez isso, siga os passos em Configurar o Azure Key Vault e depois forneça os seguintes detalhes:

         • Nome de usuário: o nome de usuário que você usa para fazer login no site ou aplicativo de destino.
         • Nome do segredo do Azure: o nome do segredo no Key Vault que armazena a senha do site ou do aplicativo.

         Observação

         Os campos de senha são compatíveis em todos os sites e na maioria dos aplicativos do Windows (WinForms, WPF, UWP, WinUI, Win32), o que abrange a maioria dos cenários do cliente. Alguns tipos de aplicativo, como Electron, Java, Unity, jogos, interfaces de linha de comando, Citrix ou outros ambientes virtualizados, talvez não sejam compatíveis.

         • Domínio de login ou nome do aplicativo de desktop: o domínio ou nome do aplicativo onde você digita as credenciais (por exemplo, login.microsoft.com ou Excel). Para o domínio de login, certifique-se de verificar esse domínio, pois ele pode diferir da URL principal do site.

   • Controle de acesso: por padrão, o uso do computador pode funcionar em qualquer site ou aplicativo. Se quiser restringir esse acesso, habilite o controle de acesso para definir as URLs específicas e os aplicativos da área de trabalho aos quais o uso do computador deve ser limitado. Você pode configurar sites e aplicativos:

     • Sites: insira o endereço do site principal (por exemplo, example.com). Todas as páginas desse site são incluídas automaticamente. Você também pode usar curingas (*) para subdomínios.
       • Exemplos: www.contoso.com, *.contoso.com, contoso.com
     • Aplicativos da área de trabalho: insira o nome do produto do aplicativo ou o nome do processo. Para encontrá-lo, pressione Ctrl+Shift+Esc para abrir o Gerenciador de Tarefas. Em seguida, verifique a guia Processos.
       • Exemplos: Microsoft Edge, msedge, Notepad.

     Observação

     O controle de acesso só impede que o modelo tome medidas em sites ou aplicativos que não estejam na lista de permitidos. Isso não impede o modelo de abri-los. Por exemplo, se apenas microsoft.com e Microsoft Edge estiverem na lista de permissões, o modelo ainda poderá usar a barra de pesquisa do Edge para abrir o Bing. No entanto, assim que o Bing for aberto, qualquer tentativa de interagir com ele falhará porque ele não está na lista de permissões.

8. Selecione Salvar.

Testar uso do computador

O teste de uso do computador é uma etapa-chave na jornada de criação. Depois de inserir um nome, descrição e instruções e salvar a ferramenta, selecione Testar para iniciar a experiência de teste.

Após um curto período de carregamento, a experiência de teste aparece:

• O painel à esquerda mostra suas instruções e um registro passo a passo do raciocínio e ações da ferramenta.
• O painel direito mostra uma versão preliminar das ações no computador que você configurou para uso no computador.

Quando a tarefa termina, você vê uma mensagem Teste concluído. Enquanto o teste estiver em andamento, você pode selecionar Parar teste para interromper imediatamente todas as ações no computador.

Se o resultado não for o esperado, vá para a página de configuração e refine suas instruções. Adicione mais detalhes para melhorar a precisão. Para obter orientação, consulte Melhores práticas para escrever instruções eficazes.

Publicar um agente com uso de computador

Configure o uso do computador e depois publique seu agente. A forma como o agente é executado depende do cenário. Pode ser autônomo ou conversacional:

• Os agentes autônomos são executados automaticamente e executam tarefas em segundo plano.
• Os agentes de conversa permitem aos usuários interagir por meio de canais como o Microsoft Teams.

O uso do computador funciona melhor para agentes autônomos, executando tarefas em segundo plano sem interação do usuário.

Você também pode aplicar o uso do computador em experiências de conversa, mas tenha em mente estas considerações:

• Se você selecionar Autenticação de usuário como a configuração de autenticação, cada usuário que interagir com o agente em uma conversa precisará de credenciais válidas para um computador usado pelo uso do computador.
• Quando a ferramenta é executada, ela compartilha mensagens de raciocínio e capturas de tela da atividade do computador no chat.

Práticas recomendadas

Para manter a produtividade e a segurança nos ambientes digitais atuais, siga as melhores práticas de uso do computador, especialmente ao gravar instruções claras e proteger computadores.

Melhores práticas para proteger computadores

Ao configurar computadores para uso do computador que permitam que a IA realize tarefas usando linguagem natural, considere estas recomendações de segurança:

Práticas recomendadas para instruções de uso do computador

As instruções que você escreve determinam o quão bem o uso do computador funciona. Instruções específicas e detalhadas ajudam o uso do computador a concluir tarefas com precisão. Pense nisso como explicar uma tarefa a um colega. Orientações claras e orientações etapa a etapa ajudam a garantir o sucesso.

Dicas para escrever instruções eficazes:

• Seja específico sobre sites e aplicativos. Sempre inclua a URL completa de qualquer site e o nome exato de qualquer aplicativo que a ferramenta deve usar. Exemplo: Abra https://www.microsoft.com e vá para 'Notícias da empresa'.

• Indique claramente as ações relevantes. Se você quer que algo seja feito, diga explicitamente — especialmente ações como enviar um formulário ou enviar um e-mail. Exemplo: Depois de preencher o formulário, selecione Enviar. Não precisa pedir permissão.

• Divida interações complexas. Para áreas em que a interface do usuário pode ser mais complexa de navegar, explique cada etapa em detalhes. Exemplo: Selecione o ícone Mais no canto superior direito. Um menu suspenso aparece. Quando abrir, selecione o último item da lista.

• Use a formatação etapa por etapa para tarefas mais longas. Instruções longas são mais fáceis de seguir quando você as formata como uma lista.

Exemplo de instruções

Explore estas instruções de exemplo para experimentar o uso do computador ou usá-las como referência para escrever suas próprias.

Melhores práticas para extração de dados

Você pode usar o computador para extrair dados de sites ou aplicativos e depois passar esses dados para seu agente ou para outras ferramentas dentro do agente. Para isso, basta descrever quais informações você quer extrair diretamente nas instruções para uso do computador.

Se quiser usar os dados extraídos com outra ferramenta (por exemplo, enviando por e-mail), especifique essa necessidade nas instruções do agente e certifique-se de que ambas as ferramentas sejam adicionadas ao agente.

Exemplo: Use o uso do computador para extrair as informações do cliente para o painel do portfólio financeiro e envie por e-mail os dados extraídos. Nesse caso, seu agente deve incluir tanto a ferramenta de uso do computador quanto a ferramenta de e-mail.

Extrair valores como texto

Você pode instruir o computador a extrair valores específicos e devolvê-los como texto simples. Por exemplo, o próximo prompt extrai o gestor de portfólio e o valor da carteira para o cliente, Fourth Coffee:

1. Go to https://computerusedemos.blob.core.windows.net/web/Portfolio/index.html.
2. Find the row for Fourth Coffee and record the Portfolio Manager name and the current Portfolio Value exactly as shown.
3. Return those two values as the final output.

O agente retorna apenas os dois valores solicitados como texto.

Extrair valores como JSON

Você também pode pedir ao computador que retorne as informações extraídas em formato JSON. Esse formato é útil quando você quer passar dados estruturados para outra ferramenta. O exemplo a seguir extrai todas as linhas de portfólio relacionadas ao Contoso e as retorna como JSON devidamente formatado:

Navigate to https://computerusedemos.blob.core.windows.net/web/Portfolio/index.html, retrieve the portfolio details for all Contoso entities, and return the results as a valid JSON object.

Structure the output so that:
*    Each top-level key is the client name
*    Each value contains the client's portfolio ID, portfolio value, portfolio manager, and last updated date (format: YYYY-MM-DD)
*    Return only the JSON, with no additional text.

Essa abordagem garante que a saída seja estruturada.

Licenciamento

Embora o uso do computador esteja em versão preliminar, ele é cobrado usando o recurso de ação do Agente com uma taxa de cobrança de cinco Créditos do Copilot. Para obter mais informações, consulte Taxa de cobrança e gerenciamento do Microsoft Copilot Studio.

Cada execução de uso de computador pode executar várias ações e cada ação custa cinco Créditos do Copilot.

Por exemplo, se você configurar o uso do computador para preencher um formulário de folha de ponto baseado na Web, ele executará estas ações sempre que for acionado:

1. Iniciar navegador.

2. Navegue até o portal da Web da folha de ponto.

3. Selecione Criar novo quadro de horários.

4. Preencha o campo de formulário Hora de Início.

5. Preencha o campo de formulário Hora de Término.

6. Preencha o campo de formulário Código do projeto.

7. Selecione o botão Enviar.

Neste exemplo, o uso do computador executa sete ações, consumindo um total de 35 mensagens.

Compartilhe seus comentários

Você tem comentários sobre o uso do computador? Dê sua opinião em computeruse-feedback@microsoft.com.

Informações relacionadas

Perguntas frequentes da ferramenta de uso do computador