如何在Jenkins上自动重新运行失败的TestNG测试

Question

我正在为企业环境构建Selenium自动化套件的最后阶段工作。它配置了TestNG，在Jenkins上运行。该套件主要由UI测试组成。作为这种设置的典型，测试是不稳定的，在我们的时间范围内，重新处理测试以减少对UI自动化的依赖是不可行的。

鉴于我已经在进行代码优化，我想设置一些自动重新运行失败测试的东西，以最大限度地减少手动调查失败的需要。我已经调查了几个选项，但没有一个适合我们的设置：

• 一个理想的解决方案是使用Maven Surefire插件，它有一个reRunningTestScont属性，但这个功能只支持JUnit（我们使用TestNG）

如能为我们的设置提供解决方案，我们将不胜感激。

Answer 1

注意：此响应替换被主持人删除的先前响应。有关如何定义和连接TestNG重试分析器的详细信息，请参阅下一个响应。我更喜欢我的回答遵循那个，但它却出现在这里。

除了下面显示的TestNG套件文件方法外，还可以通过服务加载程序配置文件指定重试分析器。http://testng.org/doc/documentation-main.html#listeners-服务加载器

这种ServiceLoader机制的优点是，无论项目如何定义或如何运行，都能按预期工作。

Answer 2

对于失败的testNG测试，失败报告存储为TestNgfailed。xml。将其添加到您的XML套件中，类似这样的功能应该可以工作：

<suiteXmlFiles>
  <suiteXmlFile>src/test/<your path>.../testng.xml</suiteXmlFile>
  <suiteXmlFile>target/surefire-reports/testngfailed.xml</suiteXmlFile>
</suiteXmlFiles>

这可能会有帮助：通过詹金斯testngfailed.xml

Answer 3

您可以添加重试监听器：

重试类：

import org.testng.IRetryAnalyzer;

import org.testng.ITestResult;


public class Retry implements IRetryAnalyzer {

    private int retryCount = 0;

    private int maxRetryCount = 1;


    public String getResultStatusName(int status) {

        String resultName = null;

        if (status == 1)

            resultName = "SUCCESS";

        if (status == 2)

            resultName = "FAILURE";

        if (status == 3)

            resultName = "SKIP";

        return resultName;

    }


    /*

     * Below method returns 'true' if the test method has to be retried else

     * 'false' and it takes the 'Result' as parameter of the test method that

     * just ran

     * 

     * @see org.testng.IRetryAnalyzer#retry(org.testng.ITestResult)

     */

    @Override

    public boolean retry(ITestResult result) {

        if (retryCount < maxRetryCount) {

            System.out.println("Retrying test " + result.getName() + " with status " + getResultStatusName(result.getStatus()) + " for the " + (retryCount + 1) + " time(s).");

            retryCount++;

            return true;

        }

        return false;

    }

并添加此监听器：

import java.lang.reflect.Constructor;

import java.lang.reflect.Method;


import org.testng.IAnnotationTransformer;

import org.testng.IRetryAnalyzer;

import org.testng.annotations.ITestAnnotation;


public class RetryListener implements IAnnotationTransformer {


    @Override

    public void transform(ITestAnnotation testannotation, Class testClass, Constructor testConstructor, Method testMethod) {

        IRetryAnalyzer retry = testannotation.getRetryAnalyzer();


        if (retry == null) {

            testannotation.setRetryAnalyzer(Retry.class);

        }

    }


}

您有2个选项调用上述监听器：

从您的xml testng runner中，如下所示：

<listeners>

        <listener class-name="package path....com.listeners.RetryListener" />

        <listener class-name="org.uncommons.reportng.HTMLReporter" />

        <listener class-name="org.uncommons.reportng.JUnitXMLReporter" />

</listeners>

从测试类：

@Listeners({ package path....com.listeners.RetryListener })

您需要在类声明之前添加上述声明。