Azure DevOps Services | Azure DevOps Server 2022 - Azure DevOps Server 2019
Visual Studio 2022 |Visual Studio 2019 |Visual Studio 2017 |Visual Studio 2015
将自动化测试与测试用例相关联可以通过提供更好的可跟踪性和与 CI/CD 管道的集成来增强测试过程。 本文将指导你在哪些情况下将自动化测试与测试用例关联是有利的,以及如何有效地进行操作。
先决条件
类别 | 要求 |
---|---|
项目访问权限 | 项目成员. |
访问级别 | - 若要查看与测试相关的工作项或运行测试用例:至少 基本 访问权限。 具有 利益干系人 访问权限的用户无权访问测试计划。 - 若要使用所有与测试相关的功能,需要 基本 + 测试计划 访问级别或以下任意订阅之一: - 企业 - 测试专业版 - MSDN 平台 |
权限 | - 若要添加或修改测试计划、测试套件、测试用例或其他基于测试的工作项类型:编辑此节点中的工作项 权限设置为 允许 在相应的 区域路径下。 - 若要修改测试计划属性,如生成和测试设置:管理测试计划 权限设置为 允许 对应的 区域路径。 - 要创建和删除测试套件,添加和删除测试套件中的测试用例,或更改与测试套件相关的测试配置:在相应的 区域路径下,将 管理测试套件 权限设置为 “允许”。 - 可能需要的项目级权限包括: - 若要查看、创建或删除测试运行:查看测试运行、创建测试运行,以及 删除测试运行 设置为“允许”的权限。 - 若要管理测试配置或测试环境:管理测试配置 和 管理测试环境。 - 要将为基于测试的工作项添加标记:将“创建标记定义”权限设置为“允许”。 - 要将基于测试的工作项移出项目:将“将工作项移出此项目”权限设置为“允许”。 - 若要删除或还原基于测试的工作项:删除和还原工作项, 权限设置为 允许。 - 要永久删除基于测试的工作项:将“永久删除工作项”权限设置为“允许”。 |
有关详细信息,请参阅手动测试访问和权限。
创建测试项目和生成管道
执行以下步骤以创建测试项目和生成管道。
- 创建包含自动测试的测试项目。 有关详细信息,请参阅 支持哪些类型的测试。
- 将测试项目检查到 Azure DevOps 中。
- 为项目创建生成管道,并确保它包含自动测试。 有关更多信息,请参阅你仍在使用 XAML 生成时有哪些差异。
在 Visual Studio 中关联自动化测试
请考虑在以下方案中使用 Visual Studio 将自动测试与测试用例相关联:
手动测试用例自动化:如果您已创建了一个手动测试用例,并认为它适合自动化,但仍希望将其作为测试计划的一部分来运行。 可以通过在 Visual Studio 测试 任务的设置中选择测试计划或测试套件,在 CI/CD 管道中运行这些测试。 还可以从 测试计划 Web 门户运行自动测试。 如果使用 XAML 生成,可以使用 Microsoft测试管理器运行这些自动测试。
启用端到端可跟踪性:如果测试用例链接到要求或用户情景,则可以使用测试执行的结果来确定这些要求的质量。
执行以下步骤,将自动化测试与 Visual Studio 中的测试用例相关联。
在 Visual Studio Enterprise 或 Professional 2017 或更高版本中打开解决方案。
如果不知道测试用例的工作项的标识符,请在 Azure 测试计划中查找测试用例,或在工作中心查询工作项。
当知道测试用例的工作项的标识符时:
如果使用 Visual Studio 2017 或更高版本,请执行以下步骤来关联测试。
- 如果未显示“测试资源管理器”窗口,请从“测试”中打开它 |Windows 菜单。
- 如果测试未显示在测试资源管理器中,请生成解决方案。
- 在 测试资源管理器中,选择要关联的测试方法,然后选择 “关联到测试用例”。
- 在打开的对话框中,键入测试用例标识符,然后选择 “添加关联”,然后选择“ 保存”。
该对话框显示当前与所选测试方法关联的测试用例列表。 不能将多个测试方法与测试用例相关联,但可以将测试方法与多个测试用例相关联。
如果在 Azure DevOps 中使用生成和发布服务,而不是 XAML 生成,则可以使用 Visual Studio 测试 任务在生成和发布管道中运行关联的测试。 除非使用的是 XAML 生成,否则无法使用Microsoft测试管理器按需运行测试。
测试用例中的参数不会由与测试用例关联的任何自动测试使用。 使用这些参数的测试用例的迭代仅适用于手动测试。
有关详细信息,请参阅以下文章:
将自动化测试关联到 Azure DevOps
将测试与构建管道关联
导航到 管道 并选择运行自动测试的管道。
选择执行测试的构建。
在“ 测试 ”选项卡中,查找要链接到手动测试用例的自动测试。
选择测试,然后单击 “关联测试用例”。
找到要关联到自动测试的手动测试用例,然后单击“ 关联”。
将自动化测试与其相应的测试用例相关联后,可以利用 Azure 测试计划任务 将其作为管道的一部分执行。
有关关联自动测试的常见问题解答
请参阅以下常见问题(常见问题解答)。
问:支持哪些类型的测试?
答:每种测试类型存在以下功能和限制:
框架 | *Visual Studio 中的关联功能 | Azure DevOps 中的关联 |
---|---|---|
编码的 UI 测试 | 已支持 | 已支持 |
硒 | 已支持 | 已支持 |
MSTest v1/v2 | 已支持 | 已支持 |
NUnit | 已支持 | 已支持 |
xUnit | 已支持 | 已支持 |
Python (PyTest) | 不支持 | 已支持 |
Java (Maven 和 Gradle) | 不支持 | 已支持 |
* Visual Studio 15.9 预览版 2 或更高版本支持。
使用 Visual Studio 15.9 预览版 2 或更高版本时,使用 .NET Core 框架 的测试可以 与测试用例工作项相关联。 运行 .NET Core 测试。 必须在 .runsettings 文件中指定相应的目标框架。
问:是否可以在 Azure DevOps 中使用 GitHub 存储库中的测试进行关联?
答:只要使用 VSTest 任务在 Azure Pipelines 中运行自动测试,或者使用 PublishTestResults 任务报告测试结果,自动化测试就可以通过 Azure DevOps 中的用户体验与测试用例关联。 请记住,在测试可供关联之前,必须至少运行一次。
问:如果我仍在使用 XAML 生成,有什么区别?
答:如果在 Azure Pipelines 中使用 XAML 生成,则可以使用实验室环境运行在生成-部署-测试工作流中关联的测试。 还可以使用Microsoft测试管理器和 实验室环境运行测试。
问:是否可以将工作项配置为在 Visual Studio 中打开?
答: 是的。 如果希望测试工作项在 Visual Studio 中打开,而不是 Web 浏览器中的默认 Azure Pipelines UI,请更改工作项 |工具中的常规设置 |Visual Studio 中的“选项”菜单。