Automatizar aplicações Web e de ambiente de trabalho com a utilização do computador (pré-visualização)

[Este artigo é uma documentação de pré-lançamento e está sujeito a alterações.]

A utilização do computador é uma ferramenta do Copilot Studio que permite ao seu agente interagir com um computador Windows e automatizar tarefas no mesmo. Funciona com sites e aplicações de ambiente de trabalho, selecionando botões, escolhendo menus e inserindo texto em campos no ecrã. Descreva em linguagem natural o que pretende que o computador faça, e ele executará a tarefa num computador que configurou utilizando um rato e um teclado virtuais. Com a utilização do computador, os agentes podem concluir tarefas mesmo quando não existe uma API para se ligarem diretamente ao sistema. Se uma pessoa consegue utilizar uma aplicação ou um site, também consegue utilizar um computador. Pode utilizar o computador para tarefas como a introdução automatizada de dados, o processamento de faturas e a extração de dados.

A utilização do computador é facilitada pelos Agentes Utilizadores de Computadores (CUA), um modelo de IA que combina capacidades de visão com raciocínio avançado para interagir com interfaces gráficas de utilizador (GUI). Por ser tecnologia de IA, adapta-se às mudanças de interface. Por exemplo, quando os botões ou os ecrãs mudam, a ferramenta continua a funcionar sem interromper o seu fluxo de trabalho. É simples de utilizar. Basta descrever o que pretende em linguagem natural. Não precisa de escrever código.

Veja este vídeo para saber como a ferramenta de utilização do computador permite que um agente interaja com uma aplicação Web.

Requisitos

• A funcionalidade está disponível para ambientes onde a região está definida como Estados Unidos.

• Certifique-se de que o seu agente tem o orquestrador generativo ativado para utilizar o computador.

Adicione a utilização do computador ao seu agente

Num novo agente ou num agente existente no Copilot Studio, adicione a utilização do computador como ferramenta seguindo estes passos:

1. Aceda à secção Ferramentas no seu agente e selecione Adicionar ferramenta.

2. No diálogo Adicionar ferramenta, selecione Nova ferramenta.

3. Selecione Utilização do computador.

4. Forneça as instruções que descrevem a tarefa que a ferramenta deve executar no computador. Verá alguns modelos de instruções para começar. Para saber mais sobre a melhor forma de escrever instruções para utilização do computador, consulte as melhores práticas para obter instruções para utilização do computador.

5. Escolha a máquina onde a utilização do computador será executada. Pode utilizar o browser alojado, uma máquina pronta a usar para automatizar tarefas em sites públicos, ou selecionar um computador com Windows que pode configurar para utilização do computador. Saiba mais em Configurar onde a utilização do computador é executada.

6. Selecione Adicionar e configurar.

   • Na página de configuração, configure estes três campos:

     • Nome: introduza o nome a apresentar da ferramenta de utilização do computador. Este nome ajuda-o a diferenciá-lo de outras ferramentas que adiciona ao seu agente.
     • Descrição: introduza uma breve descrição da função desta ferramenta e quando a utilizar. Este texto informa o seu agente quando utilizar esta ferramenta.
     • Instruções: liste os passos que a ferramenta deve executar, incluindo URLs e nomes de aplicações. Para sugestões, consulte Melhores práticas para instruções de utilização do computador.

7. Analise estes outros campos e definições na página de configuração que possam ser relevantes:

   • Entradas: utilize entradas para definir valores dinâmicos que se alteram a cada execução de utilização do computador. Por exemplo, se pretender preencher um formulário com um valor diferente a cada execução, crie um campo de entrada para esse campo. No momento da execução, o computador combina as suas instruções com os valores de entrada para completar a tarefa.

   • Máquina: selecione a máquina de destino que o agente utiliza para executar tarefas de utilização do computador. Consulte Configurar onde a utilização do computador é executada para mais detalhes sobre a escolha do tipo de máquina certo com base nas suas necessidades.

     • Utilize Atualizar para atualizar a lista de máquinas.
     • Escolha Gerir máquinas para abrir a página de gestão de máquinas no portal do Power Automate.
     • Selecione Ver detalhes da máquina para abrir a página de detalhes da máquina no portal do Power Automate.

   • Ligação: ligação utilizada para esta ferramenta. Atualize ou crie uma nova ligação para alterar as credenciais utilizadas.

   • Credenciais a utilizar: especifique como a utilização do computador é autenticada durante a execução:

     • Credenciais fornecidas pelo criador (por defeito): Esta opção utiliza as credenciais do criador e é adequada para agentes autónomos.

     Aviso

     Se partilhar um agente com esta definição, qualquer pessoa que a use pode agir com o acesso do autor original na máquina configurada.

     • Credenciais de utilizador final: esta opção utiliza as credenciais da pessoa que interage com o agente. Cada utilizador deve ter credenciais de acesso à máquina.

   • Supervisão humana: especifique quem deve ser contactado por e-mail (Outlook) caso o agente de utilização do computador detete instruções potencialmente prejudiciais que possam alterar o comportamento do modelo. Cada execução do agente e a sua atividade estão ligadas ao utilizador que a iniciou. Se escolher um revisor diferente da pessoa que está a gerir o agente de uso do computador, provavelmente não vê a atividade porque não iniciou a execução. Portanto, não podem verificar ou atender adequadamente ao pedido. Além disso, certifique-se de que o destinatário está autorizado e possui o contexto necessário para lidar com tais pedidos. O limite de tempo de resposta define durante quanto tempo o pedido permanece ativo. Após este período, o pedido expira e a execução da utilização do computador é interrompida se não for recebida qualquer resposta. Consulte Supervisão humana para mais informações.

   • Credenciais armazenadas: defina as credenciais que o computador utiliza para iniciar sessão em sites e aplicações. Durante a execução, se aparecer um pedido de início de sessão, a utilização do computador utilizará com segurança quaisquer credenciais que tenha definido nesta secção para esse site ou aplicação. Os valores das palavras-passe destas credenciais são armazenados no armazenamento interno do Power Platform (sem necessidade de configuração) ou num Azure Key Vault que fornece. Saiba como criar um Azure Key Vault em Criar um cofre de chaves utilizando o portal do Azure.

     • Opção de armazenamento interno: Com esta opção, pode configurar credenciais na ferramenta sem qualquer pré-configuração. Os segredos são encriptados e armazenados internamente na Power Platform. Para cada credencial, forneça os seguintes detalhes:

       • Tipo: escolha entre o site e a aplicação de ambiente de trabalho dependendo da superfície que pretende usar esta credencial
       • Nome de utilizador: o nome de utilizador que usa para iniciar sessão no site ou aplicação alvo.
       • Palavra-passe: o valor da palavra-passe usado para iniciar sessão no site ou aplicação alvo.

       Nota

       Os campos de palavra-passe são suportados em todos os sites e na maioria das aplicações Windows (WinForms, WPF, UWP, WinUI, Win32), o que abrange a maioria dos cenários do cliente. Alguns tipos de aplicações, como Electron, Java, Unity, jogos, interfaces de linha de comandos, Citrix ou outros ambientes virtualizados, podem não ser compatíveis.

       • Domínio de login ou nome da aplicação Desktop: o domínio ou nome da aplicação onde insere as credenciais (por exemplo, login.microsoft.com ou Excel). Para o domínio de login, certifique-se de verificar este domínio, pois pode diferir do URL principal do site.

     • Opção Azure Key Vault: Com esta opção, pode configurar as credenciais na ferramenta introduzindo primeiro o ID de subscrição, o nome do grupo de recursos e o nome do Key Vault. Todas estas informações estão disponíveis na página Descrição geral do seu Key Vault.

       • Para utilizar os segredos do Azure Key Vault com o Power Platform:

         • A subscrição do Azure que tem o vault deve ter o fornecedor de recursos PowerPlatform registado.
         • O utilizador que cria a variável de ambiente deve ter as permissões adequadas para o recurso do Azure Key Vault.

       • Se ainda não o fez, siga os passos em Configurar o Azure Key Vault e depois forneça os seguintes detalhes:

         • Nome de utilizador: o nome de utilizador que usa para iniciar sessão no site ou aplicação alvo.
         • Nome secreto do Azure: o nome do segredo no Key Vault que armazena a palavra-passe do site ou da aplicação.

         Nota

         Os campos de palavra-passe são suportados em todos os sites e na maioria das aplicações Windows (WinForms, WPF, UWP, WinUI, Win32), o que abrange a maioria dos cenários do cliente. Alguns tipos de aplicações, como Electron, Java, Unity, jogos, interfaces de linha de comandos, Citrix ou outros ambientes virtualizados, podem não ser compatíveis.

         • Domínio de login ou nome da aplicação Desktop: o domínio ou nome da aplicação onde insere as credenciais (por exemplo, login.microsoft.com ou Excel). Para o domínio de login, certifique-se de verificar este domínio, pois pode diferir do URL principal do site.

   • Controlo de acesso: por predefinição, a utilização do computador pode funcionar em qualquer site ou aplicação. Se pretender restringir este acesso, ative o controlo de acesso para definir os URLs e aplicações de ambiente de trabalho específicos aos quais a utilização do computador deve ser limitada. Pode configurar tanto sites como aplicações:

     • Sites: introduza o endereço principal do site (por exemplo, example.com). Todas as páginas desse site são incluídas automaticamente. Também pode utilizar carateres universais (*) para subdomínios.
       • Exemplos: www.contoso.com, *.contoso.com, contoso.com
     • Aplicações de ambiente de trabalho: introduza o nome do produto ou do processo da aplicação. Para o encontrar, prima Ctrl+Shift+Esc para abrir o Gestor de Tarefas. Em seguida, verifique o separador Processos.
       • Exemplos: Microsoft Edge, msedge, Notepad.

     Nota

     O controlo de acesso apenas impede que o modelo execute ações em sites ou aplicações que não estejam na lista de permissões. Isto não impede que o modelo os abra. Por exemplo, se apenas o microsoft.com e o Microsoft Edge estiverem na lista de permissões, o modelo ainda pode utilizar a barra de pesquisa do Edge para abrir o Bing. No entanto, uma vez aberto o Bing, qualquer tentativa de interação com o mesmo falha porque não está na lista de permissões.

8. Selecione Guardar.

Testar utilização do computador

Testar a utilização do computador é um passo fundamental no percurso de criação. Depois de introduzir um nome, uma descrição e instruções, e guardar a ferramenta, selecione Teste para iniciar a experiência de teste.

Após um breve período de carregamento, é apresentada a experiência de teste:

• O painel esquerdo mostra as tuas instruções e um registo passo a passo do raciocínio e das ações da ferramenta.
• O painel direito apresenta uma pré-visualização das ações que configurou para utilização do computador.

Quando a tarefa termina, vê uma mensagem Teste concluído. Enquanto o teste está em curso, pode selecionar Parar o teste para parar imediatamente todas as ações na máquina.

Se o resultado não for o esperado, aceda à página de configuração e refine as suas instruções. Adicione mais detalhes para melhorar a precisão. Para obter orientações, consulte as melhores práticas para escrever instruções eficazes.

Publicar um agente com utilização do computador

Configura o uso do computador e depois publica o teu agente. O funcionamento do seu agente depende do cenário. Pode ser autónomo ou conversacional:

• Os agentes autónomos funcionam automaticamente e executam tarefas em segundo plano.
• Os agentes conversacionais permitem que os utilizadores interajam através de canais como o Microsoft Teams.

A utilização do computador é mais adequada para agentes autónomos, que executam tarefas em segundo plano sem interação do utilizador.

Também pode utilizar o computador em experiências conversacionais, mas tenha em mente as seguintes considerações:

• Se selecionar Autenticação do utilizador como a configuração de autenticação, cada utilizador que interaja com o agente numa conversa necessitará de credenciais válidas para a máquina utilizada pelo computador.
• Quando a ferramenta é executada, partilha mensagens de raciocínio e capturas de ecrã da atividade da máquina no chat.

Melhores práticas

Para manter a produtividade e a segurança nos ambientes digitais atuais, siga as melhores práticas de utilização do computador, especialmente quando escreve instruções claras e protege as máquinas.

Melhores práticas para proteção das máquinas

Ao configurar máquinas para utilização do computador que permitam à IA executar tarefas utilizando linguagem natural, considere estas recomendações de segurança:

Melhores práticas para instruções de utilização do computador

As instruções que escreve determinam o quão bem funciona a utilização do computador. Instruções específicas e detalhadas ajudam o utilizador do computador a concluir as tarefas com precisão. Pense nisto como explicar uma tarefa a um colega. Orientações claras e passo a passo ajudam a garantir o sucesso.

Sugestões para escrever instruções eficazes:

• Seja específico em relação a sites e aplicações. Inclua sempre o URL completo de qualquer site e o nome exato de qualquer aplicação que a ferramenta deva utilizar. Exemplo: Abra https://www.microsoft.com e vá a 'Notícias da empresa'.

• Indique claramente as ações relevantes. Se quiser que algo seja feito, diga explicitamente — especialmente ações como submeter um formulário ou enviar um email. Exemplo: Depois de preencher o formulário, selecione Enviar. Não é preciso pedir permissão.

• Dividir interações complexas. Para áreas onde a IU possa ser mais complexa de navegar, explique cada passo em detalhe. Exemplo: Selecione o ícone Mais no canto superior direito. Aparece um menu suspenso. Quando abrir, selecione o último item da lista.

• Utilize a formatação passo a passo para tarefas mais longas. As instruções longas são mais fáceis de seguir quando formatadas como uma lista.

Instruções de exemplo

Explore estas instruções de exemplo para experimentar a utilização do computador ou utilize-as como referência para escrever as suas próprias.

Melhores práticas para extrair dados

Podes usar o computador para extrair dados de websites ou aplicações e depois passar esses dados ao teu agente ou a outras ferramentas do agente. Para isso, basta descrever diretamente que informação queres extrair nas instruções para uso do computador.

Se quiseres usar os dados extraídos com outra ferramenta (por exemplo, enviando-os por email), especifica essa necessidade nas instruções do agente e certifica-te de que ambas as ferramentas são adicionadas ao agente.

Exemplo: Use o uso do computador para extrair a informação do cliente para o painel do portefólio financeiro e enviar por email os dados extraídos. Neste caso, o seu agente deve incluir tanto a ferramenta de utilização do computador como a ferramenta de email.

Extrair valores como texto

Podes instruir o computador a extrair valores específicos e devolvê-los como texto simples. Por exemplo, o seguinte prompt extrai o gestor de carteira e o valor da carteira para o cliente, Fourth Coffee:

1. Go to https://computerusedemos.blob.core.windows.net/web/Portfolio/index.html.
2. Find the row for Fourth Coffee and record the Portfolio Manager name and the current Portfolio Value exactly as shown.
3. Return those two values as the final output.

O agente devolve apenas os dois valores solicitados como texto.

Extrair valores como JSON

Também pode pedir ao computador para devolver a informação extraída em formato JSON. Este formato é útil quando se quer passar dados estruturados para outra ferramenta. O exemplo seguinte extrai todas as linhas do portefólio relacionadas com o Contoso e devolve-as como JSON devidamente formatado:

Navigate to https://computerusedemos.blob.core.windows.net/web/Portfolio/index.html, retrieve the portfolio details for all Contoso entities, and return the results as a valid JSON object.

Structure the output so that:
*    Each top-level key is the client name
*    Each value contains the client's portfolio ID, portfolio value, portfolio manager, and last updated date (format: YYYY-MM-DD)
*    Return only the JSON, with no additional text.

Esta abordagem assegura que a saída é estruturada.

Licenciamento

Enquanto o uso do computador está em pré-visualização, é faturado usando a caraterística de ação do Agente com uma taxa de faturação de cinco Créditos do Copilot. Para mais informações, consulte Taxa e gestão de faturação do Microsoft Copilot Studio.

Cada execução de utilização do computador pode realizar várias ações, sendo que cada ação tem um custo de cinco Créditos do Copilot.

Por exemplo, se configurar a utilização do computador para preencher um formulário de folha de horas baseada na Web, este executará estas ações sempre que for acionado:

1. Inicie o browser.

2. Navegue até ao portal Web da folha de horas.

3. Selecione Criar nova folha de horas.

4. Preencha o campo de formulário Hora de início.

5. Preencha o campo de formulário Hora de fim.

6. Preencha o campo do formulário Código do Projeto.

7. Selecione o botão Submeter.

Neste exemplo, a utilização do computador executa sete ações, consumindo um total de 35 mensagens.

Partilhar comentários

Tem algum comentário sobre a utilização do computador? Avise-nos em computeruse-feedback@microsoft.com.

Informações relacionadas

FAQ para a ferramenta de utilização do computador