当前位置: 首页 > 知识库问答 >
问题:

基于testng测试通过率阈值的Jenkins作业失败分析

澹台玉石
2023-03-14

我们希望能够使其可配置--即如果通过率低于98%,测试工作失败。

这是我可以通过某个插件在Jenkins作业中控制或配置的东西,还是我必须在TestNG侦听器中编码的东西,即onfinish()并根据计算的通过率设置返回值?

共有1个答案

黄涵畅
2023-03-14

我假设您的测试用例中有一些薄片,导致您即使有2%的失败也要使构建通过?否则,我会说任何低于100%的都是构建失败。

话虽如此,用声纳怎么样?

使用它,当单元测试成功<98%时,您可以失败构建(请参见此处的一些示例截图)。

 类似资料:
  • 我们已经测试了在Jenkins环境下运行回归套件的TestCafe.js UI测试。 我们正在探索一种创建机制的方法,其中我们可以潜在地为测试套件设置特定的通过阈值,以使Jenkins作业状态为通过/失败。 基于TestCafe的测试是否可以通过TestCafe定制/通过一些Jenkins插件进行类似的测试? 我们的詹金斯档案:

  • 我有一份Jenkins Multi-branch的工作,从GitLab签出并构建代码。直到最近,它还可以正常工作,但现在一些(但不是全部)来自优秀大师的分支无法构建。大师总是建造没有问题。当我从GitLab中的repo或通过git checkout-b本地分支master并推回到GitLab,然后允许多分支作业拾取新分支时,它无法构建它。我从管道插件SCMBinder类得到消息:“无法确定[bra

  • 问题内容: 我有一个Jenkins作业,它通过Nightwatch.js框架在Browserstack上运行Selenium测试。我们有一套完整的测试程序,可以让守夜人在不同的进程中运行,并且我们需要一种在所有测试运行后将通过/失败值返回给Jenkins的方法。 我一直在尝试使用Nightwatch挂钩在每个模块的末尾运行一段代码,但是我无法弄清楚需要采取什么措施才能使Jenkins作业可以访问该

  • 我正在jenkins上运行一组测试,我得到以下结果: 好的东西告诉我行: maven-surefire-插件: 2.16是这里的问题,所以这里是我的pom文件检查: 我已经检查了maven仓库中的插件,我看到的唯一区别是插件标签中有插件,而在网站中它是在依赖标签中。 这里可能有什么错误? 谢谢 注:抱歉纯文本,但我不知道如何给代码上色=/

  • 我正在使用TestNG运行自动Selenium测试。当我作为TestNG套件运行时,一切都很好。但是当我作为Maven Test运行时,它们失败了。我非常困惑为什么他们会在一种情况下工作而不是另一种情况下。以下是测试的总体布局: base.java testbase.java

  • 我正在使用Jenkins进行自动化测试。我的作业运行windows可执行批处理每天早上8:00归档,并向所有定义的收件人发送和通知。我有大约15个测试用例,都通过了。TestNG结果如下: 我交叉检查了詹金的所有配置。一切都如预期的那样,我的构建仍然失败,我每次都会得到这个报告: '控制台输出 由工作区F:\Automation\MovingWalls中的计时器构建启动未触发任何电子邮件。[Mov