使用计算机自动执行 Web 和桌面应用（预览版）

[本文是预发行文档，可能会有所更改。]

计算机使用是 Copilot Studio 中的一种工具，可让你的代理与 Windows 计算机上的任务进行交互和自动化。 它通过点击按钮、选择菜单以及将文本输入到屏幕上的字段来与网站和桌面应用程序协同工作。 请用自然语言描述您希望计算机执行的任务，然后它将在您设置的计算机上，通过虚拟鼠标和键盘执行这些任务。 使用计算机时，即使没有 API 直接连接到系统，代理也可以完成任务。 如果一个人可以使用应用程序或网站，计算机使用也可以。 可以将计算机用于自动数据输入、发票处理和数据提取等任务。

计算机使用由 Computer-Using 代理（CUA）提供支持，该模型将视觉功能与高级推理相结合，与图形用户界面（GUI）交互。 因为它支持 AI，因此它适应界面更改。 例如，当按钮或屏幕发生更改时，该工具会继续运行，不会打断您的工作流程。 使用起来很简单。 只需用自然语言描述所需的内容。 无需编写代码。

观看此视频，了解计算机使用工具如何让代理与 Web 应用程序交互。

要求

• 此功能适用于区域设置为美国的环境。

• 确保您的代理启用了生成器协调器以使用计算机功能。

将计算机使用添加到智能体

在 Copilot Studio 中的新智能体或现有智能体上，按照以下步骤作为工具添加计算机使用：

1. 转到代理中的 “工具 ”部分，然后选择“ 添加工具”。

2. 在 “添加工具 ”对话框中，选择“ 新建工具”。

3. 选择计算机使用。

4. 提供说明，说明该工具应在计算机上执行的任务。 你将看到一些用于入门的说明模板。 若要详细了解如何最好地编写计算机使用说明，请查看有关 计算机使用说明的最佳做法。

5. 选择计算机使用运行的计算机。 可以使用托管浏览器、现成的计算机在面向公众的网站上自动执行任务，也可以选择可配置为用于计算机使用的 Windows 计算机。 在 “配置计算机使用位置”中了解详细信息。

6. 选择 “添加并配置”。

7. 在配置页上，配置以下三个字段：

   • 名称：输入计算机使用工具的显示名称。 此名称有助于将其与添加到代理的其他工具区分开来。

   • 说明：输入此工具的作用以及何时使用它的简短说明。 此文本可让你的代理知道何时使用此工具。

   • 说明：列出工具应执行的步骤，包括 URL 和应用程序名称。 有关提示，请参阅 有关计算机使用说明的最佳做法。

8. 查看可能相关的配置页上的以下其他字段和设置：

   • 输入：使用输入定义每次计算机操作时变化的动态值。 例如，如果要在每次运行时填写具有不同值的表单，请为该字段创建输入。 在执行时，计算机结合指令和输入值以完成任务。

   • 计算机：选择代理用于运行计算机使用的目标计算机。 有关根据您的要求选择正确的计算机类型的更多详细信息，请参阅 配置计算机使用的运行位置 。

     • 使用 “刷新” 更新计算机列表。

     • 选择 管理计算机以 在 Power Automate 门户中打开计算机管理页面。

     • 选择 查看计算机详细信息 以在 Power Automate 门户中打开计算机详细信息页。

     • 连接：用于此工具的连接。 更新或创建新连接以更改使用的凭据。

     • 要使用的凭据：指定计算机使用在执行期间如何进行身份验证：

       • Copilot 作者身份验证 （默认值）：此选项使用制造商的凭据，适用于自治代理。

         警告

         如果您与他人共享此设置的智能体，任何使用该智能体的人都可以在配置的计算机上以原始作者的权限进行操作。

       • 用户身份验证：此选项使用与代理交互的人员的凭据。 每个用户必须具有计算机的访问权限凭据。

   • 人工监督：指定如果计算机使用代理检测到可能更改模型行为的潜在恶意或有害指令，则应通过 Outlook 联系谁。 确保收件人有权接收和响应此类请求。 您还可以设置超时期限，在此期限之后，请求将过期，如果未收到响应，则计算机使用运行将停止。 有关更多信息，请参阅 人工监督 。

   • 存储的凭据：定义计算机用于登录网站和应用程序的凭据。 在执行期间，如果出现登录提示，计算机会安全地使用您在本部分中为该站点或应用程序定义的凭据。 这些凭据的密码值存储在你提供的 Azure Key Vault 中。 了解如何 使用 Azure 门户在“创建密钥保管库”中创建 Azure Key Vault。

     若要在工具中配置凭据，请先输入订阅 ID、资源组名称和 Key Vault 名称。 密钥保管库的 “概述 ”页中提供了所有这些信息。

     若要将 Azure Key Vault 密钥用于 Power Platform，请执行以下操作：

     • 具有保管库的 Azure 订阅必须注册“PowerPlatform 资源提供程序”。
     • 创建环境变量的用户必须具有对 Azure Key Vault 资源的适当权限。

     如果还没有，请按照 配置 Azure Key Vault 中的步骤进行操作。 然后提供以下详细信息：

     • 名称：凭据的显示名称。

     • 用户名：用于登录到目标网站或应用程序的用户名。

     • 登录域：您输入凭据的域（例如， login.microsoft.com）。 请确保验证此域，因为它可能与主站点 URL 不同。

     • Azure 机密名称：密钥保管库中存储网站或应用程序密码的机密的名称。

       注释

       所有网站和大多数 Windows 应用程序都支持密码字段（WinForms、WPF、UWP、WinUI、Win32），涵盖大多数客户方案。 某些应用类型（如 Electron、Java、Unity、游戏、命令行接口、Citrix 或其他虚拟化环境）可能不受支持。

   • 访问控制：默认情况下，计算机使用可在任何网站或应用程序上运行。 如果要限制此访问，请启用访问控制以定义计算机使用的特定 URL 和桌面应用程序。 可以配置网站和应用程序：

     • 网站：输入主网站地址（例如 example.com）。 该网站中的所有页面都将自动包含在内。 还可以对子域使用通配符 *。
       • 示例：www.contoso.com、、 *.contoso.comcontoso.com
     • 桌面应用程序：输入应用程序产品名称或进程名称。 若要找到它，请按 Ctrl + Shift + Esc 打开任务管理器。 然后检查“ 进程 ”选项卡。
       • 示例：Microsoft Edge、msedge、Notepad。

     注释

     访问控制仅阻止模型对不在允许列表中的网站或应用程序执行作。 它不会阻止模型打开它们。 例如，如果仅 microsoft.com 和 Microsoft Edge 位于允许列表中，模型仍然可以使用 Edge 搜索栏来打开必应。 但是，打开必应后，任何与它交互的尝试都会失败，因为它不在允许列表中。

9. 选择“保存”。

配置计算机使用运行的位置

为了与用于任务自动化的网站和桌面应用程序进行交互，计算机需在 Windows 系统上运行。 为代理添加计算机使用功能时，有以下选项：

托管浏览器（由 Windows 365 for Agents 提供支持）

借助托管浏览器，无需任何计算机设置即可快速开始。 它使用 Microsoft Edge 提供 Web 自动化以及对内置 Windows 应用程序的访问权限。

托管浏览器在Microsoft托管的环境中运行。 它不是加入您的租户的 Microsoft Entra，或不是由 Intune 策略进行管理。 它专为快速 Web 自动化和早期试验而设计，但它不支持企业资源访问、自定义桌面应用或组织特定的设备管理。

云电脑池 （由适用于代理的 Windows 365） 提供支持）

由适用于代理的 Windows 365 提供支持的云电脑池为使用计算机的代理提供可缩放的安全计算资源，而无需自带计算机。

下面是云电脑池的一些主要功能：

• 在 Copilot Studio 中作为代理的一部分运行计算机使用工具，而无需自带计算机
• 根据当前工作负载自动缩放云电脑池中的云电脑数
• 通过工作或学校帐户集成，可以访问链接到组织的资源，例如 Microsoft 365、SharePoint 和 Azure。
• Entra 加入和 Intune 注册可实现对云电脑池的完全治理，确保它始终符合组织的策略

有关详细信息，请参阅将 云电脑池用于计算机运行 。

自带机器

此选项允许你使用拥有和管理的 Windows 计算机。 在 Power Automate 中注册和管理计算机。

以下是使用计算机设备的关键要求：

• 安装 Power Automate 桌面版 2.59.169.25241 或更高版本。 包括用于 Web 浏览器交互的 Power Automate Web 扩展安装。

• 注册本机后，在本机设置中打开计算机使用。

在 先决条件和限制中了解详细信息。

注册新计算机

由于计算机操作是在机器上进行的，因此应专门指定一台机器用于计算机操作，以避免中断。

注册新计算机：

1. 在计算机上安装 最新版本的 Power Automate 。 在安装过程中，请确保选中 “安装计算机运行时应用”以连接到 Power Automate 云门户 选项。

2. 打开 Power Automate 计算机运行时 应用并登录。

3. 将机器注册到您希望使用的计算机使用环境中。

了解更多关于注册新计算机的信息。

启用计算机

注册机器后，启用其计算机使用功能。

1. 登录到 Power Automate。
2. 转到机器。
3. 选择已注册的计算机。
4. 在计算机详细信息页上，选择 “设置”。
5. 打开启用计算机使用。
6. 选择“保存”。

运行调度和队列

使用 计算机 时，针对同一台计算机的运行请求将按顺序 排队 并执行：

1. 第一次运行在目标计算机上执行。
2. 后续运行将被添加到队列中，标记为已排队。
3. 运行完成后，下一个运行将启动并标记为 “下一步”运行。

要监视运行队列：

1. 登录到 Power Automate。
2. 转到机器。
3. 选择计算机。
4. 在计算机详细信息页上，选择“ 运行队列”。

人工监督

此功能允许计算机使用工具在检测到潜在的安全问题（特别是“恶意指令”）时升级给您在人工监督设置下配置的人员。

人工智能模型通过评估屏幕截图图像中是否存在可能改变模型行为的对抗性内容来执行检测。 当模型在执行过程中标记此类指令（以前会导致立即停止）时，它现在会将请求转发给人工进行验证。 人工审核员决定标记的安全问题是否真实并应停止执行，或者模型是否错误地标记了它，并且该过程可以安全地继续。 在这种情况下，系统会通过电子邮件 （Outlook） 向配置的人工审阅者提出审阅请求。 如果在指定的超时期限内未收到响应，则在达到该时间限制后，计算机使用运行将停止。

查看代理和计算机使用活动

当计算机使用代理检测到潜在的恶意或有害指令时，配置的审阅者会收到一封 Outlook 电子邮件。 在响应之前，请务必确认它是哪个代理活动以及请求与哪个计算机使用活动相关。

以下是人工审核电子邮件请求中包含的主要信息：

审核使用计算机的人工审核请求

要查看人工审核请求，请执行以下作：

1. 从人工审核请求电子邮件正文中复制 对话 ID （GUID）。
2. 选择电子邮件中的 使用工具 链接的代理 ，在 Microsoft Copilot Studio 中打开代理概述页。
3. 转到活动。
4. 在活动列表顶部，选择按 ID 查找运行 ，然后输入复制的 对话 ID。
5. 找到具有已配置计算机使用工具名称的计算机使用作，然后打开其侧面板。
6. 在侧面板的 “活动” 部分中，查看活动列表。 等待人工审核的活动在模型响应文本旁显示等待符号。 计算机使用代理执行的安全检查可能由单一响应、输入或截图触发，也可能由多个上下文触发。 因此，人工审核请求中显示的截图本身可能不包含任何潜在的恶意内容。
7. 仔细查看活动历史记录和屏幕截图，以确定计算机使用模型安全检查是否有效。
8. 完成后，返回到 Outlook 中的电子邮件通知，并根据发现采取适当的作。

测试计算机使用

测试计算机使用是创作过程中的关键步骤。 输入名称、说明和说明并保存该工具后，选择“ 测试 ”以启动测试体验。

在加载期过短后，将显示测试体验：

• 左侧面板显示您的指令和工具的推理和行动的分步日志。
• 右侧面板显示在您设置用于计算机使用的机器上操作的预览。

任务完成后，会看到“ 测试已完成” 消息。 测试正在进行时，可以选择 “停止测试 ”以立即停止计算机上的所有作。

如果结果不是预期结果，请转到配置页并优化说明。 添加更多详细信息以提高准确性。 有关指导，请参阅 编写有效说明的最佳做法。

发布支持计算机使用的智能体

设置计算机使用，然后发布您的智能体。 代理的运行方式取决于情境。 它可以是自治的或对话性的：

• 自治代理在后台自动运行并执行任务。

• 对话代理允许用户通过Microsoft Teams 等频道进行交互。

计算机使用最适合自治代理，无需用户交互即可在后台执行任务。

还可以在对话体验中融入计算机的使用，但请记住以下注意事项：

1. 如果选择 “用户身份验证 ”作为身份验证设置，则与会话中的代理交互的每个用户都需要计算机使用的有效凭据。
2. 工具运行时，它会共享聊天中计算机活动的推理消息和屏幕截图。

监视计算机使用情况

要查看计算机使用在运行期间的操作：

1. 转到代理的活动部分，然后选择一个运行实例。
2. 在“运行详细信息”页上，在 “活动映射 ”和“ 脚本 ”视图之间切换。

“记录”视图显示计算机如何遵循你的指令，提供一个分步日志，其中包含每个动作的推理消息和屏幕截图。

高级计算机使用活动

在Dataverse中存储计算机使用日志，增强了报告、人工监督、审计和故障排除的能力。 当这些日志存储在 Dataverse（默认设置）中时，可以通过从活动映射中选择一个计算机使用操作，在侧面板中查看详细的活动信息。

Dataverse 存储

在 Power Platform 管理中心中启用 “计算机使用 ”功能时，默认情况下会打开 Dataverse 中的“存储日志 ”选项。 如果关闭此设置，则仅显示默认活动日志。 启用后，日志会消耗 Dataverse 容量的组合。

• 数据库容量（flowsession 表和 flowsessionbinary 元数据）
• 日志容量（flowlog 表）
• 文件存储容量（flowsessionbinary 文件附件）

确保有足够的容量，并且保留期和详细设置符合您的要求。

配置高级计算机使用日志记录

按照以下步骤配置或验证高级计算机使用日志记录：

1. 转到 Power Platform 管理中心，选择环境，然后打开 “功能 ”区域。

2. 向下滚动到 计算机使用 设置，并确保 Dataverse 中的存储日志 处于打开状态（默认设置）。

   注释

   以下高级计算机使用日志设置不会影响存储 Microsoft Copilot 代理脚本（包括任何计算机使用日志）的方式。 记录继续包括基本计算机使用日志、屏幕截图以及所有其他代理和工具日志，不受配置影响。

3. 查看或更改 计算机使用日志详细程度 级别：

   • 所有数据 （默认值） - 存储完整的高级计算机使用日志集。
   • 没有屏幕截图的数据 - 存储与“ 所有数据”相同的内容，但屏幕截图除外。
   • 最小 - 当前的行为与 没有屏幕截图的数据相同，但此行为可能会在将来的版本中更改。

4. 查看或更改 日志保留时间 以匹配数据保留时间范围：

   • 默认值： 7 天（10,080 分钟）
   • 最大值： 33,554,432 分钟
   • 若要永久保留日志，请输入 0 或 -1 作为自定义值并忽略单元下拉列表。

5. （可选）如果希望计算机使用运行日志在 Microsoft Purview 中可用，请启用 将审核日志发送到 Microsoft Purview ：

   • 启用后，日志将显示在活动术语 CUAOperation 下。
   • 此设置独立于前两个设置。

查看计算机使用活动详细信息

在活动地图中选择计算机使用动作时，会打开一个侧面板，其中包含全面的会话信息：

最佳做法

若要在当今的数字环境中保持高效和安全，请遵循计算机使用的最佳做法，尤其是在编写明确的说明和保护计算机时。

保护计算机的最佳做法

设置计算机以供计算机使用，以便 AI 使用自然语言执行任务时，请考虑以下安全建议：

有关计算机使用说明的最佳做法

你编写的说明决定了计算机使用的效果。 具体详细的说明有助于计算机准确地完成任务。 将其视为向同事解释任务。 明确的分步指南有助于确保成功。

编写有效说明的提示：

• 详细说明网站和应用程序的相关信息。 始终包含任何网站的完整 URL，以及工具应使用的任何应用程序的确切名称。 示例：“打开 https://www.microsoft.com 并转到”公司新闻”。

• 明确说明相关动作。 如果你希望完成某些事情，就要明说——尤其是在需要提交表单或发送电子邮件的时候。 示例：“填写表单后，选择 ”提交”。 无需请求权限。

• 分解复杂的交互。 对于 UI 可能更复杂的导航区域，请详细解释每个步骤。 示例：“选择右上角的 ”更多 “图标。 此时会显示一个下拉列表。 打开后，选择列表中的最后一项。

• 对较长的任务使用分步格式设置。 将它们格式化为列表时，较长的说明更易于遵循。

示例说明

浏览这些示例说明，尝试使用计算机，或使用它们作为编写自己的参考。

管理控制

管理员可以控制计算机使用功能的可用性和使用情况。 这些控制有助于组织管理计算机使用情况的部署方式，并确保它符合安全性和合规性要求。

禁用计算机的使用

可以在管理中心或使用 Power Platform CLI 禁用计算机使用。

使用管理中心

若要在使用管理中心的环境中禁用计算机使用，请执行以下步骤：

1. 转到 Power Platform 管理中心。
2. 在导航窗格中选择“ 管理 ”，然后选择“ 环境”。 此时会显示环境列表。
3. 选择要更新的环境。 此时会打开环境的详细信息页。
4. 在顶部菜单栏中选择设置。
5. 展开 产品，然后选择 功能。
6. 滚动到 计算机使用并 关闭切换开关。

使用 Power Platform CLI

若要使用 Power Platform CLI 在环境中禁用计算机使用，请执行以下作：

1. 如果尚未安装，请安装 Power Platform CLI。

2. 打开命令行并运行以下命令：

     pac auth create
   

   按照提示连接到租户。

3. 运行以下命令以禁用设置：

   pac env update-settings --environment <envid> --name iscomputeruseinmcsenabled --value false
   

   将<envid>替换为可以在环境设置页的URL中找到的环境ID。

禁用托管浏览器

若要在租户中禁用托管浏览器，请执行以下作：

1. 转到 Power Platform 管理中心。
2. 在导航窗格中选择“ 管理 ”，然后选择 “租户设置”。 此时会显示设置列表。
3. 在 计算机使用中选择“托管浏览器”。 此时会打开一个窗格。
4. 关闭开关。
5. 选择“保存”。

许可

虽然计算机使用处于预览状态，但使用智能体操作功能计费，计费费率为五个 Copilot 额度。 有关详细信息，请参阅 Microsoft Copilot Studio 计费费率和管理。

每次计算机运行可以执行多个操作，每个操作的成本为 5 Copilot 积分。

例如，如果设置计算机用于填写基于网络的时间表表单，则每次触发时都会执行这些操作：

1. 启动浏览器。

2. 导航到时间表 Web 门户。

3. 选择“ 创建新时间表”。

4. 填写“开始时间”字段。

5. 填写“结束时间”窗体字段。

6. 填写“项目代码”字段。

7. 选择提交按钮。

在此示例中，计算机执行七个操作，总共消耗35条信息。

局限性

以下限制会影响计算机使用：

• 不支持托管的计算机组。
• 不支持多屏幕桌面。
• 在 代理的活动选项卡中 ，代理会话状态可能显示为“正在进行”，尽管会话可能已完成。 选择特定的代理会话并切换到转录模式，以验证计算机使用会话已完成。

托管浏览器限制

该服务可能会根据需求限制托管的浏览器使用情况。 因此，不建议将其用于生产用途。

以下情况可能会导致限流：

故障排除

如果在使用计算机时遇到问题，请查看以下常见问题及其解决方案：

共享您的反馈

你是否对计算机使用情况有反馈？ 请通过 computeruse-feedback@microsoft.com 联系我们。

相关信息

计算机使用工具常见问题解答