即使第二次迭代失败，具有多次迭代的 TFS 自动化测试也显示为通过

Posted 2023-02-24

【中文标题】即使第二次迭代失败，具有多次迭代的 TFS 自动化测试也显示为通过

【英文标题】：TFS Automated tests with multiple iterations show as passed even when the second iteration fails

【发布时间】：2017-02-16 11:37:18

【问题描述】：

我正在使用带有测试代理 2015 的 TFS 2017 环境。在此之前，我们使用带有测试代理 2013 和 MTM 的 TFS 2013 环境（效果很好）。

目前我们遇到以下问题：

我们运行一个包含大约 40 个测试的集合，所有测试都有多次迭代。如果第一次迭代失败，我们在 tfs 中看到，测试状态设置为失败，这是完美的。但是，如果第一次迭代成功而第二次失败，则测试用例设置为在 TFS 中通过。但是，如果第二次迭代失败，我们希望将整个测试设置为失败。现在看起来我们几乎所有的测试都通过了，但有时很多后续迭代都失败了，这意味着我们得到了错误的报告。

当我打开属于一台机器的 .TRX 文件时，我可以看到哪些迭代失败了，哪些迭代成功了。

简而言之就是问题：

如果测试的第一次迭代通过而第二次迭代失败，则整个测试将设置为通过而不是失败，这会给我们带来虚假报告。

我完全不知道我们做错了什么。但现在它给出的是关于我们跑步的虚假信息。

这里有人遇到过同样的问题吗？

非常感谢任何帮助，因为我无法在 google 上找到有关此主题的任何信息。

【问题讨论】：

你能分享你的构建定义和设置吗？你使用运行功能测试任务吗？

【参考方案1】：

我已在 Microsoft 论坛上发布了此内容。他们回答说他们可以重现它，这意味着它可能是 tfs/testagent 中的一个问题。更多信息可以在这里找到：

https://social.msdn.microsoft.com/Forums/vstudio/en-US/4a384376-feae-46a9-a3da-e4445bc905d8/tfs-automated-tests-with-multiple-iterations-show-as-passed-even-when-the-second-iteration-fails?forum=tfsgeneral