Perguntas frequentes sobre a ferramenta de uso do computador

O que é a ferramenta de uso do computador

O uso do computador é uma ferramenta que você pode adicionar aos agentes do Copilot Studio projetados para automatizar tarefas em sites e aplicativos. Os usuários fornecem descrições de tarefa em linguagem natural e a ferramenta automatiza os cliques do mouse e as ações de teclado adequadamente. Por exemplo, você pode instruir a ferramenta a abrir um PDF e usar seu conteúdo para preencher um formulário da Web. A ferramenta interpreta visualmente a tela e executa os cliques e pressionamentos de tecla necessários, emulando interações humanas.

Quais são as funções da ferramenta do computador?

A ferramenta de uso do computador processa dados de pixels da tela para compreender o conteúdo exibido e executa tarefas usando cliques virtuais do mouse e entradas do teclado. A ferramenta pode gerenciar fluxos de trabalho de várias etapas, lidar com cenários inesperados e adaptar-se dinamicamente às alterações de tela, permitindo que ela execute várias tarefas digitais, como navegar em sites e preencher formulários sem precisar de APIs especializadas.

A ferramenta de uso do computador segue um loop iterativo com base em três etapas:

• Percepção: captura capturas de tela para entender visualmente o estado atual da tela do computador.

• Raciocínio: ele avalia o estado atual, as ações anteriores e as capturas de tela por meio de uma abordagem de cadeia de pensamento, que permite adaptar suas ações efetivamente.

• Ação: ele executa ações como clicar, digitar ou rolar até que a tarefa seja concluída ou exija mais entradas do usuário.

Quais são os usos pretendidos pela ferramenta de uso do computador?

A ferramenta de uso do computador destina-se a automatizar as interações do usuário com sites e aplicativos por meio de um mouse virtual e teclado, especialmente útil em cenários em que as APIs não estão disponíveis.

Como a ferramenta de uso do computador foi avaliada? Quais métricas são usadas para medir o desempenho?

A ferramenta de uso do computador foi rigorosamente avaliada usando cenários do mundo real em suas fases de design, desenvolvimento e implantação. Os métodos de avaliação incluíram pesquisas, estudos de impacto e testes em diferentes cenários para medir a precisão, a confiança do usuário e a utilidade. As métricas qualitativas e quantitativas são monitoradas regularmente para manter o alto desempenho e uma experiência positiva do usuário. A disponibilidade da ferramenta também é assegurada ao aderir a SLAs estabelecidas.

Quais são as limitações da ferramenta de uso do computador? Como os usuários podem minimizar o impacto das limitações da ferramenta de uso do computador ao usar o sistema?

O uso de computador é uma nova tecnologia com riscos de segurança conhecidos e limitações funcionais. Estamos capacitando você a experimentar isso. Essa funcionalidade em estágio inicial permite a automação de determinadas tarefas baseadas em computador, embora seu desempenho varie amplamente dependendo do caso de uso. Para usá-lo de forma eficaz e responsável, entenda suas limitações atuais:

Limitações conhecidas

• A taxa de sucesso varia de acordo com a tarefa: a ferramenta tem o melhor desempenho em tarefas baseadas na Web (cerca de 80% êxito), mas cai significativamente em aplicativos da área de trabalho (cerca de 35% êxito).
• Desempenho inconsistente: a mesma tarefa pode produzir resultados diferentes dependendo das alterações visuais ou de tempo.
• Dificuldades com determinados controles de interface do usuário: o uso do computador pode ter dificuldades para interagir com elementos de interface não padrão ou dinâmicos, como listas suspensas, seletores de data ou widgets personalizados.
• Loops e estados travados: Em alguns casos, o agente entra em um loop ou fica travado quando a tela não corresponde às expectativas ou muda de forma imprevisível.
• Desafios com tarefas complexas: embora seja eficaz para ações simples, a ferramenta pode ter dificuldades com interfaces gráficas detalhadas ou tarefas que envolvem manipulação de texto intrincada.
• Não para casos de uso confidenciais ou de alto risco: a ferramenta não se destina a:
  • Recomendando ou pontuando em domínios confidenciais, como contratação, assistência médica ou finanças
  • Fazendo transações financeiras
  • Ações prejudiciais, como spam ou desinformação
  • Compartilhar dados fora de sua organização sem autorização adequada

Como minimizar as limitações

Para melhorar a confiabilidade, os usuários devem fornecer instruções claras e detalhadas ao configurar tarefas. Isso ajuda a reduzir erros e aumenta as taxas de sucesso da tarefa.

Supervisão humana para instruções potencialmente maliciosas

Os agentes de uso do computador podem encontrar instruções prejudiciais ou maliciosas, geralmente chamadas de ataques de injeção de prompt, em que comandos ocultos em capturas de tela, páginas da Web ou outras entradas tentam influenciar as ações de maneiras não intencionais. Para reduzir esses riscos, opere o uso do computador em ambientes confiáveis e isolados e aplique verificações de validação robustas antes de executar qualquer instrução.

A supervisão humana adiciona mais visibilidade e controle, permitindo que revisores autorizados validem ações sinalizadas como potencialmente prejudiciais ou maliciosas. Quando tais riscos são detectados, o uso do computador pausa a execução e notifica os revisores designados, que podem decidir se continuam ou interrompem a execução. As verificações de segurança realizadas pelo agente de uso do computador podem ser acionadas por uma resposta, entrada ou captura de tela, ou por múltiplos detalhes desse contexto. As verificações de segurança têm como objetivo provocar uma revisão humana antes que ações potencialmente irreversíveis ou não permitidas sejam realizadas pelo agente usuário do computador, mas o agente usuário pode cometer erros ao realizar as verificações. Por exemplo, o agente de uso do computador pode não detectar certas ações, ou pode solicitar uma revisão onde a segurança não é uma preocupação. As verificações de segurança não substituem o design e orientação responsáveis do agente.

Esse recurso solicita revisão de ações potencialmente irreversíveis ou não autorizadas, mas atualmente não suporta solicitações gerais de confirmação, solicitações de informações faltantes ou outros tipos de verificações de segurança.

Quais fatores operacionais e configurações permitem o uso efetivo e responsável da ferramenta de uso do computador?

A ferramenta de uso do computador tem o melhor desempenho quando são fornecidas instruções de usuário claras e detalhadas. Os usuários devem dar dicas precisas sobre interações de site ou aplicativo para melhorar a confiabilidade e a precisão durante a execução da tarefa. Para maior visibilidade e controle, habilite a supervisão humana atribuindo um ou mais revisores autorizados na página de configuração de ferramentas. Quando o modelo detecta instruções potencialmente mal-intencionadas, esses revisores recebem notificações para validar e decidir se devem continuar ou interromper a execução.

Como fazer para fornecer comentários sobre a ferramenta de uso do computador?

Tem comentários sobre a ferramenta de uso do computador? Envie email para computeruse-feedback@microsoft.com.