如何强制PHPUnit在跳过的测试中失败？

Question

我正在尝试使用PHPUnit和Selenium与headless firefox建立一个自动测试。Travis CI尝试运行我的测试时，Selenium server无法启动，但我的测试被认为正常，因为PHPUnit将其标记为跳过：

The Selenium Server is not active on host localhost at port 4444.
OK, but incomplete, skipped, or risky tests!
Tests: 1, Assertions: 0, Skipped: 1.
The command "make test" exited with 0.

在我看来，当测试因为内部错误而无法启动时，应该认为它失败了。这真的很愚蠢，因为我的测试可能会以这种方式失败，如果没有阅读完整的报告，我可以相信事实上一切都正常运行，因为Travis CI认为返回值0是成功的测试。

当有跳过的测试时，是否有选项使PHPUnit返回非零结果？或者甚至让它直接报告Selenium错误测试失败？

Answer 1

经过所有的研究，我必须得出结论，PHPUnit（至少从7.3版开始）返回0，即使有跳过的测试，也不能强制使用任何可用的配置选项执行其他操作。

这意味着，当您的测试套件中的测试因任何原因甚至无法启动时，PHPUnit仍然会返回0作为整个测试会话的结果，并且被Travis CI视为SUCCESS。它将在构建历史记录中显示为绿色，找出发生了什么的唯一方法是打开日志并通读它。这样，您可能很容易最终部署带有错误的代码，除非您在部署前阅读整个构建日志并调查可能的问题。

如果有人证明我错了，我会删除这个答案。或者当PHPUnit作者解决这个问题时。

那一刻我搬到了朱尼特。

Answer 2

考虑在phpunit.xml文件中配置以下参数。

     stopOnError="true"
     stopOnFailure="true"
     stopOnIncomplete="true"
     stopOnSkipped="true"
     stopOnRisky="true"

参考文献

如果您想使用命令行args等效项是：

  --stop-on-error             Stop execution upon first error.
  --stop-on-failure           Stop execution upon first error or failure.
  --stop-on-warning           Stop execution upon first warning.
  --stop-on-risky             Stop execution upon first risky test.
  --stop-on-skipped           Stop execution upon first skipped test.
  --stop-on-incomplete        Stop execution upon first incomplete test.

对于你的情况，你想停止跳过。

旁注：要将测试视为失败，必须存在失败的断言。由于跳过的测试没有实际执行，因此不能将其视为失败，您应该依赖执行摘要，并确保没有发生风险测试或跳过的测试。

如果希望将风险测试和警告测试视为失败测试，可以使用以下参数：

  --fail-on-warning           Treat tests with warnings as failures.
  --fail-on-risky             Treat risky tests as failures.

参考文献

如果出于任何原因，您想让PHPUnit返回0以外的退出代码（成功），请考虑查看如何让PHPUnit在警告时返回非零退出状态