FAQ para a ferramenta de utilização do computador

O que é a ferramenta de utilização do computador

Utilização do computador é uma ferramenta que pode adicionar aos seus agentes do Copilot Studio concebidos para automatizar tarefas em sites e aplicações. Os utilizadores fornecem descrições de tarefas em linguagem natural e a ferramenta automatiza os cliques do rato e as ações do teclado em conformidade. Por exemplo, pode instruir a ferramenta a abrir um PDF e usar o seu conteúdo para preencher um formulário Web. A ferramenta interpreta visualmente o ecrã e executa os cliques e batimentos de teclas necessários, emulando as interações humanas.

O que pode fazer a ferramenta de utilização do computador?

A ferramenta de utilização do computador processa dados de píxel do ecrã para entender o conteúdo no ecrã e executa tarefas usando cliques virtuais do rato e entradas do teclado. A ferramenta pode gerir fluxos de trabalho de vários passos, processar cenários inesperados e adaptar-se dinamicamente a alterações no ecrã, permitindo que execute várias tarefas digitais, como navegar em sites e preencher formulários sem precisar de APIs especializadas.

A ferramenta de utilização do computador segue um ciclo iterativo baseado em três passos:

• Perceção: realiza capturas de ecrã para entender visualmente o estado atual do ecrã do computador.

• Raciocínio: avalia o estado atual, as ações anteriores e as capturas de ecrã através de uma abordagem de cadeia de pensamento, o que lhe permite adaptar as suas ações de forma eficaz.

• Ação: executa ações como clicar, escrever ou deslocar-se até que a tarefa esteja concluída ou exija mais entradas de utilizador.

Quais são as utilizações pretendidas da ferramenta de utilização do computador?

A ferramenta de utilização do computador destina-se a automatizar as interações de utilizador com sites e aplicações através de um rato e teclado virtuais, sendo especialmente útil em cenários onde as APIs não estão disponíveis.

Como foi avaliada a ferramenta de utilização do computador? Quais métricas são usadas para medir o desempenho?

A ferramenta de utilização do computador foi rigorosamente avaliada usando cenários do mundo real ao longo de suas fases de conceção, desenvolvimento e implantação. Os métodos de avaliação incluíram pesquisa, estudos de impacto e testes em diferentes cenários para medir a precisão, a confiança do utilizador e a utilidade. As métricas qualitativas e quantitativas são monitorizadas regularmente para manter um alto desempenho e uma experiência do utilizador positiva. A disponibilidade da ferramenta também é garantida pela adesão aos SLAs estabelecidos.

Quais são as limitações da ferramenta de utilização do computador? Como podem os utilizadores minimizar o impacto das limitações da ferramenta de utilização do computador ao usar o sistema?

A utilização de computadores é uma tecnologia inovadora com riscos de segurança e limitações funcionais conhecidos. Estamos a dar-lhe as condições para fazer experiências com a mesma. Esta capacidade de fase inicial permite a automatização de determinadas tarefas baseadas em computador, embora o seu desempenho varie muito consoante o caso de utilização. Para que a utilize de uma forma eficaz e responsável, compreenda as suas limitações atuais:

Limitações conhecidas

• A taxa de êxito varia de acordo com a tarefa: a ferramenta tem um melhor desempenho em tarefas baseadas na Web (cerca de 80% de êxito), mas cai significativamente em aplicações de ambiente de trabalho (cerca de 35% de êxito).
• Desempenho inconsistente: a mesma tarefa pode produzir resultados diferentes, dependendo de alterações visuais ou cronológicas.
• Dificuldades com determinados controlos da IU: a utilização do computador pode ter dificuldades em interagir com elementos de interface não padrão ou dinâmicos, como menus pendentes, seletores de data ou widgets personalizados.
• Ciclos e estados de bloqueio: em alguns casos, o agente entra num ciclo ou fica bloqueado quando o ecrã não corresponde às expectativas ou muda de forma imprevisível.
• Desafios com tarefas complexas: embora seja eficaz para ações simples, a ferramenta pode ter dificuldades com interfaces gráficas detalhadas ou tarefas que envolvem a manipulação intrincada de texto.
• Não se destina a casos de utilização confidenciais ou de alto risco: a ferramenta não se destina a:
  • Recomendação ou pontuação em domínios confidenciais, como contratação, saúde ou finanças
  • Realização de transações financeiras
  • Ações prejudiciais, como spam ou desinformação
  • Partilhar dados fora da sua organização sem a devida autorização

Como minimizar as limitações

Para melhorar a fiabilidade, os utilizadores devem fornecer instruções claras e detalhadas ao configurar tarefas. Isto ajuda a reduzir erros e aumenta as taxas de êxito das tarefas.

Supervisão humana de instruções potencialmente maliciosas

Os agentes que usam o computador podem encontrar instruções prejudiciais ou maliciosas, muitas vezes referidas como ataques de injeção imediata, onde comandos ocultos em capturas de tela, páginas da Web ou outras entradas tentam influenciar as ações de maneiras não intencionais. Para reduzir esses riscos, opere o uso do computador em ambientes confiáveis e isolados e aplique verificações de validação robustas antes de executar quaisquer instruções.

A supervisão humana adiciona mais visibilidade e controle, permitindo que revisores autorizados validem ações sinalizadas como potencialmente prejudiciais ou maliciosas. Quando tais riscos são detetados, o uso do computador pausa a execução e notifica os revisores designados, que podem decidir se continuam ou param a execução. As verificações de segurança realizadas pelo agente de utilização do computador podem ser desencadeadas por uma resposta, entrada ou captura de ecrã, ou por múltiplas partes desse contexto. As verificações de segurança destinam-se a incitar a uma revisão humana antes que ações potencialmente irreversíveis ou não autorizadas sejam realizadas pelo agente utilizador do computador, mas o agente utilizador do computador pode cometer erros ao realizar as verificações. Por exemplo, o agente de utilização do computador pode não detetar certas ações, ou pode incitar a uma revisão onde a segurança não é uma preocupação. As verificações de segurança não substituem o design responsável e a orientação do agente.

Esta funcionalidade solicita a revisão de ações potencialmente irreversíveis ou não autorizadas, mas atualmente não suporta pedidos gerais de confirmação, pedidos de informação em falta ou outros tipos de verificações de segurança.

Que fatores operacionais e definições permitem a utilização eficaz e responsável da ferramenta de utilização do computador?

A ferramenta de utilização do computador funciona melhor quando são fornecidas instruções de utilizador claras e detalhadas. Os utilizadores devem dar sugestões precisas sobre as interações do site ou aplicação para aumentar a fiabilidade e a precisão durante a execução da tarefa. Para maior visibilidade e controle, habilite a supervisão humana atribuindo um ou mais revisores autorizados na página de configuração das ferramentas. Quando o modelo deteta instruções potencialmente maliciosas, esses revisores recebem notificações para validar e decidir se continuam ou interrompem a execução.

Como faço para fornecer comentários sobre a ferramenta de utilização do computador?

Tem comentários sobre a ferramenta de utilização do computador? Envie um e-mail para computeruse-feedback@microsoft.com.