将自动测试与测试用例关联

Azure DevOps Services | Azure DevOps Server 2022 - Azure DevOps Server 2019

Visual Studio 2022 |Visual Studio 2019 |Visual Studio 2017 |Visual Studio 2015

将自动化测试与测试用例相关联可以通过提供更好的可跟踪性和与 CI/CD 管道的集成来增强测试过程。 本文将指导你在哪些情况下将自动化测试与测试用例关联是有利的,以及如何有效地进行操作。

先决条件

类别 要求
项目访问权限 项目成员.
访问级别 - 若要查看与测试相关的工作项或运行测试用例:至少 基本 访问权限。 具有 利益干系人 访问权限的用户无权访问测试计划。
- 若要使用所有与测试相关的功能,需要 基本 + 测试计划 访问级别或以下任意订阅之一:
- 企业
- 测试专业版
- MSDN 平台
权限 - 若要添加或修改测试计划、测试套件、测试用例或其他基于测试的工作项类型:编辑此节点中的工作项 权限设置为 允许 在相应的 区域路径下。
- 若要修改测试计划属性,如生成和测试设置:管理测试计划 权限设置为 允许 对应的 区域路径
- 要创建和删除测试套件,添加和删除测试套件中的测试用例,或更改与测试套件相关的测试配置:在相应的 区域路径下,将 管理测试套件 权限设置为 “允许”
- 可能需要的项目级权限包括:
- 若要查看、创建或删除测试运行:查看测试运行创建测试运行,以及 删除测试运行 设置为“允许”的权限。
- 若要管理测试配置或测试环境:管理测试配置管理测试环境
- 要将为基于测试的工作项添加标记:将“创建标记定义”权限设置为“允许”
- 要将基于测试的工作项移出项目:将“将工作项移出此项目”权限设置为“允许”
- 若要删除或还原基于测试的工作项:删除和还原工作项, 权限设置为 允许
- 要永久删除基于测试的工作项:将“永久删除工作项”权限设置为“允许”

有关详细信息,请参阅手动测试访问和权限

创建测试项目和生成管道

执行以下步骤以创建测试项目和生成管道。

  1. 创建包含自动测试的测试项目。 有关详细信息,请参阅 支持哪些类型的测试
  2. 将测试项目检查到 Azure DevOps 中。
  3. 为项目创建生成管道,并确保它包含自动测试。 有关更多信息,请参阅你仍在使用 XAML 生成时有哪些差异

在 Visual Studio 中关联自动化测试

请考虑在以下方案中使用 Visual Studio 将自动测试与测试用例相关联:

  • 手动测试用例自动化:如果您已创建了一个手动测试用例,并认为它适合自动化,但仍希望将其作为测试计划的一部分来运行。 可以通过在 Visual Studio 测试 任务的设置中选择测试计划或测试套件,在 CI/CD 管道中运行这些测试。 还可以从 测试计划 Web 门户运行自动测试。 如果使用 XAML 生成,可以使用 Microsoft测试管理器运行这些自动测试

  • 启用端到端可跟踪性:如果测试用例链接到要求或用户情景,则可以使用测试执行的结果来确定这些要求的质量。

执行以下步骤,将自动化测试与 Visual Studio 中的测试用例相关联。

  1. 在 Visual Studio Enterprise 或 Professional 2017 或更高版本中打开解决方案。

  2. 如果不知道测试用例的工作项的标识符,请在 Azure 测试计划中查找测试用例,或在工作中心查询工作项

  3. 当知道测试用例的工作项的标识符时:

    如果使用 Visual Studio 2017 或更高版本,请执行以下步骤来关联测试。

    • 如果未显示“测试资源管理器”窗口,请从“测试”中打开它 |Windows 菜单。
    • 如果测试未显示在测试资源管理器,请生成解决方案。
    • 测试资源管理器中,选择要关联的测试方法,然后选择 “关联到测试用例”。
    • 在打开的对话框中,键入测试用例标识符,然后选择 “添加关联”,然后选择“ 保存”。

    显示将自动化与测试用例关联的屏幕截图。

    该对话框显示当前与所选测试方法关联的测试用例列表。 不能将多个测试方法与测试用例相关联,但可以将测试方法与多个测试用例相关联。

    如果在 Azure DevOps 中使用生成和发布服务,而不是 XAML 生成,则可以使用 Visual Studio 测试 任务在生成和发布管道中运行关联的测试。 除非使用的是 XAML 生成,否则无法使用Microsoft测试管理器按需运行测试。

    测试用例中的参数不会由与测试用例关联的任何自动测试使用。 使用这些参数的测试用例的迭代仅适用于手动测试。

有关详细信息,请参阅以下文章:

将自动化测试关联到 Azure DevOps

将测试与构建管道关联

  1. 导航到 管道 并选择运行自动测试的管道。

  2. 选择执行测试的构建。

  3. 在“ 测试 ”选项卡中,查找要链接到手动测试用例的自动测试。

  4. 选择测试,然后单击 “关联测试用例”。

  5. 找到要关联到自动测试的手动测试用例,然后单击“ 关联”。

    显示将自动测试关联到 CI/CD 管道接口中的测试用例的过程的屏幕截图。

将自动化测试与其相应的测试用例相关联后,可以利用 Azure 测试计划任务 将其作为管道的一部分执行。

有关关联自动测试的常见问题解答

请参阅以下常见问题(常见问题解答)。

问:支持哪些类型的测试?

:每种测试类型存在以下功能和限制:

框架 *Visual Studio 中的关联功能 Azure DevOps 中的关联
编码的 UI 测试 已支持 已支持
已支持 已支持
MSTest v1/v2 已支持 已支持
NUnit 已支持 已支持
xUnit 已支持 已支持
Python (PyTest) 不支持 已支持
Java (Maven 和 Gradle) 不支持 已支持

* Visual Studio 15.9 预览版 2 或更高版本支持。

使用 Visual Studio 15.9 预览版 2 或更高版本时,使用 .NET Core 框架 的测试可以 与测试用例工作项相关联。 运行 .NET Core 测试。 必须在 .runsettings 文件中指定相应的目标框架。

问:是否可以在 Azure DevOps 中使用 GitHub 存储库中的测试进行关联?

:只要使用 VSTest 任务在 Azure Pipelines 中运行自动测试,或者使用 PublishTestResults 任务报告测试结果,自动化测试就可以通过 Azure DevOps 中的用户体验与测试用例关联。 请记住,在测试可供关联之前,必须至少运行一次。

问:如果我仍在使用 XAML 生成,有什么区别?

:如果在 Azure Pipelines 中使用 XAML 生成,则可以使用实验室环境运行在生成-部署-测试工作流中关联的测试。 还可以使用Microsoft测试管理器和 实验室环境运行测试。

问:是否可以将工作项配置为在 Visual Studio 中打开?

答: 是的。 如果希望测试工作项在 Visual Studio 中打开,而不是 Web 浏览器中的默认 Azure Pipelines UI,请更改工作项 |工具中的常规设置 |Visual Studio 中的“选项”菜单。

更改工作项显示模式的屏幕截图。