如何处理具有间歇性故障的易碎测试？

#1 楼

这是我们目前在团队中实施的一般方法：


测量脆度以识别不稳定的测试。一种方法是将可疑测试从主部署管道移至隔离区，在相同的环境条件下多次重复执行这些测试，然后选择产生混合结果的测试（请参阅Martin Fowler的“消除测试中的不确定性”）。 >
修复错误的测试代码。这包括修复明显的错误和更改测试设计。


测试中的明显错误涉及：缺乏隔离性，异步行为，远程服务，时间问题，资源泄漏和全局状态。有关这些问题的说明，请参见《测试中的马丁·福勒的消除不确定性》。学术论文《片状测试的实证分析》中还对根本原因和可能的解决方法进行了更详细的分析。
当团队主要依赖端到端测试时，测试设计中的反模式包括倒置测试金字塔，而很少使用集成测试，甚至更少的单元测试。端到端测试不仅趋于不稳定（因此可靠性较低），而且在隔离故障的根本原因方面也越来越慢。有关更多详细信息，请参阅Google Testing Blog中的Just to No to more end-to-end test。
还有证据表明，测试越大，越容易出现片状。同样，某些工具与更高的片状测试率相关。例如，WebDriver测试（无论是用Java，Python还是JavaScript编写）都以易记的信誉而著称（请参阅Google Testing Blog中的易记测试来自何处？）。这些问题的常见解决方案是：在测试中做更少的事情，从proc之外转为in-proc并从端到端转为组件和单元测试（有关这些解决方案的说明，请参阅Microsoft的Flaky Test Automation赢得） 。


使用片状测试来发现错误。自动化测试有两个目的：网关控制和发现新的错误。网关控制用于验证是否可以包含提交或可以将构建部署到测试环境或可以发布产品。网关控制需要稳定而快速的测试。不稳定的端到端测试虽然适合于发现更多的错误，但不适用于此处。但是，他们的结果需要更多的分析，因为正如OP所指出的，通过片状测试发现的许多错误都是假阳性。 Microsoft的Flaky Test Automation获奖讨论了该技术的细节。

#2 楼

这是一篇处理易碎测试的通用文章：

https://semaphoreci.com/community/tutorials/how-to-deal-with-and-eliminate-flaky-tests

我们发现，使用图像驱动的测试工具（Sikuli，Kantu，Testplant ...），片状测试更易于诊断，因为屏幕截图更容易告诉您出了什么问题，而不是剖析HAR文件和其他网络跟踪。但是它仍然发生。因此，我们的方法是将片状Selenium测试移至Kantu，并将片状Kantu测试移至Selenium。这通常可以消除此问题，因为Selenium测试由于时间和网络原因而失败更多，而图像驱动的测试通常因CSS /字体/分辨率问题而失败。

更一般：使用多个测试工具来获得“第二意见”。通常，在一个工具中测试只是片状。

#3 楼

通常，在处理不稳定的测试时，我通常遵循此流程图。

#4 楼

我喜欢设置一个重新运行策略，在该策略中，我们重新运行所有失败的测试，直到它连续三次失败。如果两次测试仍然失败，那将是一次真正的失败测试，​​而不是由网络，时间，浏览器或其他基础设施问题引起的。测试有时是用户可能遇到的真正问题。因此，请务必偶尔研究一下您的易碎测试，但是通过重新运行策略，您可以将其推迟到有一段时间之前。运行测试。

随机失败会导致对测试套件失去信心。确保花一些时间来解决问题。

像其他人已经说过的那样，在末端2末端测试中将其最小化，因为它们具有最高的易碎性比率。

其他内容：


https://testing.googleblog.com/2016/05/flaky-tests-at-google-and-how-we.html

#5 楼

反对片面考验的Google员工本人是徒劳的。

（是的，最后一个链接是对著名科幻小说的引用）。

#6 楼

根据我的经验，您应该执行3个步骤：


测试隔离。您可以在以下博客之一中阅读有关它的更多信息：

https://martinfowler.com/articles/nonDeterminism.html

https://qualityengineer.blog/ 2018 / best-practices-1-test-quarantine /


介绍重新测试策略。只需在每次运行后重新运行失败的测试，然后检查第二次执行是否有帮助。您可以自动执行此过程。
在测试中找出造成片状的根本原因。以下是有关Google如何处理此问题的文章：
https://testing.googleblog.com/2016/05/flaky-tests-at-google-and-how-we.html