计算机使用工具是什么
计算机使用是可以添加到 Copilot Studio 智能体中的一种工具，用于自动化网站和应用程序上的任务。 用户以自然语言提供任务说明，该工具相应地自动执行鼠标单击和键盘作。 例如，可以指示该工具打开 PDF 并使用其内容填写 Web 表单。 该工具直观地解释屏幕并执行必要的单击和击键，模拟人工交互。
警告
计算机使用是一种功能强大的工具，可自动执行网站和桌面应用程序的交互，但也附带了重要的安全注意事项。 在某些情况下，由于屏幕上的不明确说明或意外内容，AI可能会采取非预期的行动。 这些作可能会影响设备、数据或连接的帐户的安全性，包括访问个人、财务或企业系统。
计算机工具可以做什么？
计算机使用工具处理屏幕像素数据以了解屏幕内容，并使用虚拟鼠标单击和键盘输入执行任务。 该工具可以管理多步骤工作流，处理意外情况，并动态适应屏幕更改，使其能够执行各种数字任务，例如导航网站和填写表单，而无需专门的 API。
计算机使用工具遵循基于三个步骤的迭代循环：
感知：它捕获屏幕截图，直观地了解计算机屏幕的当前状态。
推理：它通过思维链方法评估当前状态、以前的动作和屏幕截图，从而能够有效地调整其动作。
动作：它执行单击、键入或滚动等动作，直到任务完成或需要进一步的用户输入。
计算机使用工具的预期用途是什么？
计算机使用工具旨在通过虚拟鼠标和键盘自动与网站和应用程序交互，在 API 不可用的情况下特别有用。
计算机使用工具是如何被评估的？ 哪些指标用于度量性能？
计算机使用工具在整个设计、开发和部署阶段通过实际场景进行了严格评估。 评估方法包括跨不同方案的研究、影响研究和测试，以衡量准确性、用户信任和有用性。 定期监视定性和定量指标，以保持高性能和积极的用户体验。 该工具的可用性也通过遵守已建立的 SLA 来确保。
计算机使用工具的限制是什么？ 用户在使用系统时如何尽量减少计算机使用工具限制的影响？
计算机使用是一种新技术，具有已知的安全风险和功能限制。 我们支持您去尝试此工具。 此早期功能可实现某些基于计算机的任务的自动化，尽管其性能因用例而异。 若要有效地负责任地使用它，请了解其当前限制：
已知的限制
- 成功率因任务而异：该工具在基于 Web 的任务（大约 80% 成功）上表现最佳，但在桌面应用（大约 35% 成功）上大幅下降。
- 性能不一致：相同的任务可能会产生不同的结果，具体取决于视觉或时间变化。
- 某些 UI 控件的困难：计算机使用可能难以与非标准或动态接口元素（如下拉列表、日期选取器或自定义小组件）交互。
- 循环和停滞状态：在某些情况下，当屏幕不符合预期或更改不可预知时，代理将进入循环或卡住。
- 复杂任务中的挑战：虽然在简单任务中表现良好，但该工具可能难以处理详细的图形界面或涉及复杂文本操作的任务。
-
不适用于敏感或高风险用例：该工具不适用于：
- 在敏感域中推荐或评分，例如招聘、医疗保健或财务
- 进行财务交易
- 有害作，例如垃圾邮件或错误信息
- 未经适当的授权在组织外部共享数据
如何最大程度地减少限制
为了提高可靠性，用户在配置任务时应提供明确的详细说明。 这有助于减少错误并提高任务成功率。
对潜在恶意指令的人工监督
计算机使用代理可能会遇到有害或恶意指令，通常称为提示注入攻击，其中屏幕截图、网页或其他输入中的隐藏命令试图以意想不到的方式影响作。 为了降低这些风险，请在受信任的隔离环境中作计算机，并在执行任何指令之前应用强大的验证检查。
人工监督允许授权审核者验证标记为潜在有害或恶意的作，从而增加更多的可见性和控制力。 当检测到此类风险时，计算机使用会暂停执行并通知指定的审核员，由他们决定是否继续或停止运行。 计算机使用代理执行的安全检查可能由一个响应、输入或截图触发，也可能由多个上下文触发。 安全检查旨在促使人工审核，防止计算机使用代理采取可能不可逆或未经许可的作，但计算机使用代理在执行检查时可能会犯错。 例如，计算机使用代理可能无法检测到某些作，或者在安全无关的情况下提示复查。 安全检查不能替代负责任的设计和代理人的指导。
该功能会提示对可能不可逆或未经许可的行为进行审核，但目前不支持一般确认请求、缺失信息提示或其他类型的安全检查。
哪些作因素和设置允许有效和负责任的使用计算机使用工具？
提供清晰和详细的用户说明时，计算机使用工具的性能最佳。 用户应提供有关网站或应用程序交互的精确提示，以提高任务执行期间的可靠性和准确性。 为了增加可见性和控制力，请通过在工具配置页面中分配一个或多个授权审阅者来启用人工监督。 当模型检测到潜在的恶意指令时，这些审阅者会收到通知以验证并决定是继续还是停止运行。
如何提供有关计算机使用工具的反馈意见？
对计算机使用工具有反馈意见吗？ 电子邮件 computeruse-feedback@microsoft.com。