运行手动测试

Azure DevOps Services |Azure DevOps Server |Azure DevOps Server 2022 |Azure DevOps Server 2020

使用 Microsoft 测试运行器运行手动测试并记录每个测试步骤的测试结果。 可以为 Web 应用程序和桌面应用程序运行测试。

测试运行器允许你批量运行所有活动测试或特定测试用例。 在运行测试时修改测试。 可以为特定版本运行测试。

测试时，收集屏幕截图或测试操作等信息。 如果在测试时发现问题，请使用测试运行程序创建 bug。 在 bug 中包含测试步骤、屏幕截图和注释。

支持的客户端和运行选项

除了为特定版本运行测试外，运行选项还支持各种测试场景。 要查看选项，请在“执行”选项卡中选择一个测试，然后选择“使用选项运行”。

选择测试类型和运行程序提供以下选项：

• 使用基于 Web 浏览器的运行程序进行手动测试可按照针对版本运行测试中所述选择特定的版本进行测试。 选择“查找版本”以打开“查找版本”对话框，并搜索要针对其运行测试的版本。

• 使用测试运行器客户端进行手动测试 你可以使用测试运行器客户端为桌面应用程序运行手动测试。 如有必要，请安装测试运行器桌面客户端。

• 使用发布阶段的自动测试 要使用发布阶段运行测试，请选择一个版本。 选择发布管道和阶段以使用版本的项目。 有关详细信息，请参阅从测试计划运行自动测试。

• 使用 Microsoft 测试管理器 2017 客户端的手动测试 从本地计算机收集数据。 选择版本。 选择一个或多个数据收集器：操作日志、事件日志、屏幕和语音记录器以及系统信息。

• 使用 Microsoft 测试管理器 2015 或更早版本客户端的手动测试

Microsoft 测试管理器客户端中的测试中心是基于桌面的手动测试解决方案。 测试人员可以将其用于手动测试需求。 有关详细信息，请参阅 Microsoft 测试管理器使用指南。 要获取 Microsoft 测试管理器，请安装 Visual Studio Enterprise 或 Visual Studio Test Professional。

先决条件

TCM 命令行工具的先决条件

为 Web 应用运行测试

按照以下步骤为 Web 应用程序运行测试。

1. 从 Web 门户打开项目，然后选择测试计划>测试计划。

2. 如果尚未创建，请创建手动测试。

3. 选择“我的”或“全部”，或者使用“按标题筛选”查找并选择你的测试计划。 选择“执行”选项卡。

   

4. 选择一个或多个测试，或测试套件中的所有测试。 然后选择“为 Web 应用程序运行”。

   

   Microsoft 测试运行器会在新浏览器中打开并运行。

5. 启动要测试的应用程序。

   

   你的应用不必与测试运行器在同一台计算机上运行。 你只需在手动运行测试时使用测试运行器记录哪些测试步骤通过或失败。

   例如，你可以在台式计算机上运行测试运行器，并在 Windows 8 平板电脑上运行要测试的 Windows 8 应用商店应用。

6. 根据预期结果将每个测试步骤标记为通过或失败。

   

   如果测试步骤失败，你可以输入失败原因的注释或收集测试的诊断数据。 还可以创建或添加到 bug。

   重要说明

   具有预期结果的任何测试 步骤称为验证测试步骤。 测试人员必须为作为验证测试步骤的测试步骤标记状态。 测试用例的总体结果反映测试人员标记的所有测试步骤的状态。 因此，如果测试人员将任何测试步骤标记为失败或未标记，则测试用例的状态为失败。

创建或添加到 bug

如果测试步骤失败，请输入有关该行为的注释并收集诊断数据。 可以创建 bug 来捕获和跟踪问题。 还可以用关于失败的信息更新现有的 bug。

1. 步骤失败时，输入注释并选择创建 bug。

   

   注意

   如果 “创建 bug ”按钮未启动 bug 工作项，请在区域和迭代级别验证团队设置：

   1. 转到 “项目设置>团队” ，并验证是否将正确的团队设置为默认值。
   2. 选择团队名称旁边的 “迭代和区域路径 ”链接以打开“团队配置”页。
   3. 验证 迭代、 默认值和 积压工作迭代 是否与测试用例的团队匹配。
   4. 在“团队配置”页中，选择“ 区域 ”，并验证 默认区域 是否与测试用例的团队匹配。

2. 在“新建 bug”对话框中，输入 bug 的名称。

   

   步骤和注释会自动添加到 bug 中。 如果测试运行器在 Web 浏览器窗口中运行，你可以将剪贴板中的屏幕截图直接复制到 bug 中。

3. 你可以分配 bug、输入批注或链接到其他问题。 完成后，选择“保存并关闭”。 此测试用例已链接到你创建的 bug。

你可以看到测试会话期间报告的任何 bug。

你可以使用此步骤的相关信息更新现有 bug，而不是创建新 bug。 从“创建 bug”下拉菜单中选择“添加到现有 bug”。

保存结果、关闭会话并查看结果

完成测试后，保存结果、关闭会话并查看测试结果。

1. 运行所有测试时，选择“ 保存并关闭”。 所有测试结果都存储在 Azure 测试计划中。

2. 查看测试套件的测试状态。 你会看到每个测试的最新结果。

   

   如果尚未运行测试，其状态为活动。 如果要重新运行测试，请将测试状态重置为活动。

3. 打开测试套件，然后在“相关工作”部分中选择测试用例。 然后使用该工作项的“相关工作”部分中的子链接查看测试人员提交的 bug。

   

你可以脱机运行测试，然后导入结果。 有关详细信息，请参阅脱机测试执行扩展。

为桌面应用运行测试

如果要为桌面应用程序收集更多诊断数据，请使用测试运行器客户端运行测试。

1. 从 Web 门户打开项目，然后选择测试计划>测试计划。

2. 选择“我的”或“全部”，或者使用“按标题筛选”查找并选择你的测试计划。 选择“执行”选项卡。

   

3. 从下拉菜单中选择“为桌面应用程序运行”，从 Azure 测试计划启动测试运行器。

   

4. 如有必要，请下载并安装测试运行器桌面客户端。

   

   注意

   • 请检查测试运行程序客户端是否可用于你的平台。 目前，测试运行器客户端仅适用于 x64。
   • 如果你的组织通过 Microsoft Entra 使用条件访问策略，Azure 测试运行器可能无法工作。 有关详细信息，请参阅条件访问常见决策

5. 选择“启动”并按照上一节中的说明开始测试。 有关数据收集的详细信息，请参阅测试时收集诊断数据。

运行所有测试

你可以一次运行测试套件中的所有测试。

选择测试套件，然后选择“为 Web 应用程序运行”或“为桌面应用程序运行”以运行所有活动测试。

针对版本运行测试

选择一个版本来运行测试。

1. 从下拉列表中，选择“使用选项运行”。

   

2. 在“使用选项运行”对话框中，选择所需的版本。

   

   注意

   所选版本必须来自定义测试的项目。

可以为以下选项选择版本：

• 使用基于 Web 浏览器的运行器手动测试
• 使用发布阶段的自动测试
• 使用 Microsoft 测试管理器 2017 客户端的手动测试

对话框提供的字段因所选选项而异。 有关详细信息，请参阅支持的客户端和运行选项。

运行期间提交的任何 bug 都与所选版本相关联。 测试结果针对该版本发布。

在测试运行期间修改测试步骤

在测试仍在运行时修复测试步骤的问题。 选择编辑测试步骤图标。

你可以插入、重新排序或删除步骤。 你也可以编辑文本本身。

捕获丰富的诊断数据

运行测试时，你可以添加屏幕截图、将操作捕获为日志以及录制视频或语音。

添加屏幕截图

运行测试时，向测试结果添加屏幕截图。

如果使用 Google Chrome 或 Firefox，测试时使用 Web 运行器对 Web 应用程序进行屏幕截图。 对于 Microsoft Internet Explorer 或 Microsoft Edge 浏览器，或用于桌面应用程序测试，请使用测试运行器桌面客户端。

有关详细信息，请参阅收集诊断数据。

从测试中捕获操作

将你在应用程序上的操作捕获为日志。

如果使用 Google Chrome 或 Firefox，测试时使用 Web 运行器将你在 Web 应用程序上的操作捕获为图像日志。 对于 Microsoft Internet Explorer 或 Microsoft Edge 浏览器，或用于桌面应用程序测试，请使用测试运行器桌面客户端。

有关详细信息，请参阅收集诊断数据。

捕获正在测试的应用的录屏

在测试期间捕获我的应用的录屏。

如果使用 Google Chrome 或 Firefox，测试时使用 Web 运行器捕获 Web 和桌面应用程序的录屏。 对于 Microsoft Internet Explorer 或 Microsoft Edge 浏览器，或用于桌面应用程序测试，请使用测试运行器桌面客户端。

有关详细信息，请参阅收集诊断数据。

使用 TCM 运行测试

你可以使用 TCM 命令行工具运行属于测试计划的测试。 此工具允许你创建并启动测试运行，然后管理所有现有测试运行。 使用此处记录的 tcm 命令来完成这些任务。

列出测试运行 | 创建测试运行 | 执行测试运行 | 中止测试运行 | 删除测试运行 | 导出测试运行 | 发布测试运行

列出测试运行

使用 tcm run /list 列出测试计划中可用的运行并显示其 ID。 该 ID 对应于创建运行时定义的工作项 ID。

tcm run /list /collection:teamprojectcollectionurl /teamproject:project 
           [/planid:id  |  /querytext:query] [/login:username,[password]]

有关说明 /collection、/teamproject 和 /login 参数，请参阅使用 TCM 命令行工具。

示例

以下命令列出了为 fabrikamprime 组织中托管的 Fabrikam Fiber 项目定义的测试运行。 ID 和标题对应于为测试运行定义的工作项 ID 和标题。 例如，测试运行 1000052 的标题为周期 1 的测试计划（手动）。

tcm run /list /collection:https://fabrikamprime.visualstudio.com /teamproject:"Fabrikam Fiber"

Id        Title                              Owner               Date Completed
--------- ---------------------------------- ------------------- -----------
1000006   Sprint 2 (Manual)                  Thomas Margand      11/5/2021
1000032   33 : Change initial view (Manual)  Danielle Brasseur   11/11/2021
1000040   Sprint 2 (Manual)                  Thomas Margand      11/16/2021
1000042   Sprint 3 (Manual)                  Thomas Margand      11/16/2021
1000046   Special testing (Manual)           Nicoletta Guibord   11/18/2021
1000052   Test Plan for Cycle 1 (Manual)     Bukhosi Bhengu      12/1/2021
1000060   Game Shopping (Manual)             Bukhosi Bhengu      12/6/2021

创建测试运行

使用 tcm run /create 创建与指定测试计划关联的测试运行。 除测试计划外，你还通过相应的 ID 定义要使用的测试套件和配置。 你可以使用 、tcm plans /list 和 tcm suites /list 命令收集这些 tcm configs /list。

tcm run /create /title:title /planid:id /collection:CollectionURL /teamproject:project 
            (suiteid:id /configid:configid | /querytext:query) 
            [/settingsname:name] [/owner:owner] [/builddir:directory]  
            [/testenvironment:name] [/login:username,[password]] [/include]

有关说明 /collection、/teamproject 和 /login 参数，请参阅使用 TCM 命令行工具。

示例

以下命令在 ID77 的测试计划中创建一个名为 MyTestRun 的测试运行。 该运行使用具有 ID161 的测试套件和具有 ID9 的测试配置。 为 fabrikamprime 组织中托管的 Fabrikam Fiber 项目定义运行。

在此示例中，创建了一个 ID 为 1000082 的测试运行。

tcm run /create /title:MyTestRun /planid:77 /collection:https://fabrikamprime.visualstudio.com /teamproject:"Fabrikam Fiber" /suiteid:161 /configid:9

Run created with ID: 1000082.

执行测试运行

使用 tcm run /execute 来启动测试计划中的其中一个运行。 你指定的 ID 对应于创建运行时定义的工作项 ID。 你可以使用 tcm run /list 命令查看所有测试运行 ID 的列表。

tcm run /execute /id:id /collection:teamprojectcollectionurl /teamproject:project [/login:username,[password]]

有关说明 /collection、/teamproject 和 /login 参数，请参阅使用 TCM 命令行工具。

示例

以下命令针对 fabrikamprime 组织中托管的 Fabrikam Fiber 项目的 ID1000082 启动测试运行。 结果会在 CLI 窗口中返回。

tcm run /execute /id:1000082 /collection:https://fabrikamprime.visualstudio.com /teamproject:"Fabrikam Fiber"

Executing run: MyTestRun

Results
------------------------
Total:                   2
Passed:                  1
Failed:                  1
Inconclusive:            0

中止测试运行

使用 tcm run /abort 取消正在进行的测试运行。 你指定的 ID 对应于创建运行时定义的工作项 ID。

tcm run /abort /id:id /collection:teamprojectcollectionurl /teamproject:project [/login:username,[password]]

有关说明 /collection、/teamproject 和 /login 参数，请参阅使用 TCM 命令行工具。

示例

以下命令会为在 fabrikamprime 组织中托管的 Fabrikam Fiber 项目停止具有 ID1000082 的测试运行。 结果确认被取消的作业的ID和标题。

tcm run /abort /id:1000082 /collection:https://fabrikamprime.visualstudio.com /teamproject:"Fabrikam Fiber"

Run with ID [1000082] and title [MyTestRun] has been aborted.

删除测试运行

使用 tcm run /delete 从测试计划中删除测试执行。 你指定的 ID 对应于创建测试运行时定义的工作项 ID。

tcm run /delete /id:id [/noprompt] /collection:teamprojectcollectionurl /teamproject:project [/login:username,[password]]

有关说明 /collection、/teamproject 和 /login 参数，请参阅使用 TCM 命令行工具。

示例

以下命令会为在 fabrikamprime 组织中托管的 Fabrikam Fiber 项目删除具有 ID1000082 的测试运行。 系统会提示用户确认是否要删除指定的测试运行，并提供结果。

tcm run /delete /id:1000082 /collection:https://fabrikamprime.visualstudio.com /teamproject:"Fabrikam Fiber"

Are you sure you want to delete run [MyTestRun]? (Yes/No) y

Run [MyTestRun] has been deleted.

导出测试运行

使用 tcm run /export 将测试运行导出到指定位置。 你指定的 ID 对应于创建运行时定义的工作项 ID。

tcm run /export /id:id /resultsfile:path /collection:teamprojectcollectionurl /teamproject:project [/login:username,[password]]

有关说明 /collection、/teamproject 和 /login 参数，请参阅使用 TCM 命令行工具。

示例

以下命令指定将 fabrikamprime 组织中托管的 Fabrikam Fiber 项目的测试运行（具有 ID1000082）导出到 c:\temp\ResultsForDeveloper.trx。

tcm run /export /id:1000082 /resultsfile:"c:\temp\ResultsForDeveloper.trx" /collection:https://fabrikamprime.visualstudio.com /teamproject:"Fabrikam Fiber"

发布测试运行

使用 tcm run /publish 为指定的测试计划发布来自 Visual Studio 测试运行结果文件的结果。

tcm run /publish /suiteid:id /configid:id /resultowner:owner /resultsfile:path 
            /collection:teamprojectcollectionurl /teamproject:project [/title:runtitle] 
            [/runowner:owner] [/build:buildnumber /builddefinition:builddefinition] 
            [/flavor:flavor] [/platform:platform] [/assignfailurestouser:user] 
            [/login:username,[password]] [/buildverification]

有关说明 /collection、/teamproject 和 /login 参数，请参阅使用 TCM 命令行工具。

示例

以下命令为具有 ID161 的测试套件和具有 ID9 的测试配置发布测试运行，并重新分配所有者。 这会更新与该配置配对的测试套件中测试用例的现有测试点，并将结果发布到指定的 .trx 文件中。 并且测试运行中任何失败的测试都会分配给指定用户。

tcm run /publish /suiteid:167 /configid:9 /resultowner:"Thomas Margand" /resultsfile:"c:\temp\ResultsForDeveloper.trx" /assignfailurestouser:"Bukhosi Bhengu" /collection:https://fabrikamprime.visualstudio.com /teamproject:"Fabrikam Fiber"

常见问题

以下是一些常见问题。

问：如何重新运行测试？

答：只需选择任意测试并选择“运行”即可。

问：可以一起运行测试套件中的所有测试吗？

答：可以，选择测试套件并选择“运行”即可。 此选项会运行测试套件中的所有活动测试。 如果尚未运行测试，其状态为活动。 如果要重新运行测试，可以将测试状态重置为活动。

问：是否可以选择要对其运行测试的版本？

答：可以，选择“运行”，然后选择“使用选项运行”。

从下拉列表中选择所需的版本。

运行期间报告的任何 bug 都将自动与所选生成相关联。 测试结果针对该构建发布。

问：可以在运行测试时修复测试步骤吗？

答：是的，如果有适用于 Azure DevOps 的 Azure 测试计划。 可以插入、移动或删除步骤。 也可以编辑文本本身。 使用测试步骤编号旁边的编辑图标。

显示了用于编辑测试步骤的工具。

问：运行测试时可以向测试结果添加屏幕截图吗？

答：如果使用 Google Chrome 或 Firefox，测试时可以使用 Web 运行器对 Web 应用程序进行屏幕截图。 对于 Microsoft Internet Explorer 或 Microsoft Edge 浏览器，或用于桌面应用程序测试，可以下载并使用测试运行器桌面客户端。

有关详细信息，请参阅收集诊断数据。

问：可以将我在应用程序上的操作捕获为日志吗？

答：如果使用 Google Chrome 或 Firefox，测试时可以使用 Web 运行器将你在 Web 应用程序上的操作捕获为图像日志。 对于 Microsoft Internet Explorer 或 Microsoft Edge 浏览器，或用于桌面应用程序测试，可以下载并使用测试运行器桌面客户端。

有关详细信息，请参阅收集诊断数据。

问：可以捕获应用程序的录屏吗？

答：如果使用 Google Chrome 或 Firefox，测试时可以使用 Web 运行器捕获 Web 和桌面应用程序的录屏。 对于 Microsoft Internet Explorer 或 Microsoft Edge 浏览器，或用于桌面应用程序测试，请下载并使用测试运行器桌面客户端。

有关详细信息，请参阅收集诊断数据。

问：测试运行的某些附件未显示预览选项？

答：只能预览扩展名为 txt 和 log 的文件。 选择 txt 或 log 扩展名文件的预览选项，此时会打开一个新的用户界面，其中下拉字段显示测试运行的所有附件。 如果选择扩展名为 txt 或日志以外的扩展名的文件，则显示以下消息：“只能预览包含 txt 和日志扩展名的文件，单击此处下载附件”

问：如何控制测试数据的保留时间？

答：有关详细信息，请参阅设置测试保留策略。

问：在哪里可以下载测试运行器客户端？

答：下载测试运行器桌面客户端。

问：测试运行器客户端支持哪些操作系统？

答：测试运行器桌面客户端目前仅在 Windows x64 平台上受支持。

问：使用 Azure 测试运行程序桌面客户端时，我观察到测试运行失败。

A： 请确保使用的是最新版本的 Test Runner 桌面客户端程序。 下载测试运行器桌面客户端

问：Azure 测试运行器桌面客户端是否在启用了 Microsoft Entra 条件访问的设备上运行？

答：如果你的组织通过 Microsoft Entra 使用条件访问策略，Azure 测试运行器可能无法工作。 有关详细信息，请参阅条件访问常见决策。 这是一个已知的限制，我们建议在这种情况下使用 Web 运行器。

问：可以选择不向测试运行器客户端发送遥测数据吗？

答：不可以。 测试运行器桌面客户端不会收集任何可识别用户的数据。 未提供退出机制。 有关详细信息，请参阅 Microsoft 隐私策略。

问：可以脱机运行测试然后导入结果吗？

答：可以，请参阅脱机测试执行扩展。

后续步骤

相关内容

• 手动测试常见问题解答
• 在测试时收集诊断数据
• 在连接模式下使用测试和反馈扩展进行探索性测试
• 使用测试计划运行自动测试
• 使用 Microsoft 测试管理器运行手动测试