cucumber.json报告被重新运行方案报告覆盖

Question

我使用maven-surefire-plugin内置功能 1 使用了Flaky测试重新运行机制。此外，我还基于 io.cucumber 而不是 info.cukes 添加了cucumber依赖项。它们都有自己版本的cucumber-java和cucumber-jvm依赖项。

<plugin>
    <groupId>org.apache.maven.plugins</groupId>
    <artifactId>maven-surefire-plugin</artifactId>
    <version>2.21.0</version>
    <configuration>
         <rerunFailingTestsCount>1</rerunFailingTestsCount>
    </configuration>
    <executions>
         <execution>
             <id>acceptance-test</id>
             <phase>integration-test</phase>
             <goals>
                 <goal>test</goal>
             </goals>
             <configuration>
                 <forkCount>1</forkCount>
                 <reuseForks>true</reuseForks>
                  <includes>
                      <include>**/*Runner.class</include>
                  </includes>
              </configuration>
         </execution>
    </executions>
</plugin>
<dependency>
        <groupId>io.cucumber</groupId>
        <artifactId>cucumber-java</artifactId>
        <version>2.4.0</version>
    </dependency>
    <dependency>
        <groupId>io.cucumber</groupId>
        <artifactId>cucumber-junit</artifactId>
        <version>2.4.0</version>
    </dependency>
    <dependency>
        <groupId>io.cucumber</groupId>
        <artifactId>cucumber-spring</artifactId>
        <version>2.4.0</version>
    </dependency>
    <dependency>
        <groupId>io.cucumber</groupId>
        <artifactId>cucumber-jvm</artifactId>
        <version>2.4.0</version>
        <type>pom</type>
    </dependency>

@RunWith(Cucumber.class)
@ContextConfiguration(locations = {"file:/src/test/resources/spring-config.xml"})
@CucumberOptions(
        glue = "com.test.uitest",
        features = "classpath:cucumber",
        tags = {"~@ignore","@ui_home"},
        monochrome = true,
        plugin = {"pretty", "html:target/cucumber-reports",
                "json:target/cucumber-reports/cucumber.json",
                "rerun:target/rerun.txt"} //Creates a text file with failed scenarios
)
public class AllTestsRunner {
}

现在，我需要另一个运行程序，其中包含以下代码（根据StackOverflow上的其他论坛和线程）

@RunWith(Cucumber.class)
@CucumberOptions(
        monochrome = true,
        glue = "com.test.uitest",
        features = "@target/rerun.txt", //Cucumber picks the failed scenarios from this file
        format = {"pretty", "html:target/rerun-reports",
                "json:target/cucumber-reports/rerun-report.json"}
)
public class FailedTestsRunner {
}

但我不需要有这个第二个跑者，因为重新运行机制工作绝对出色，只有一个跑者在顶部。maven-surefire插件(V2.21.0)和io.cucumberV2.4.0中的内置机制可以很好地工作，如果第一次执行时任何场景失败，它会自动重新运行，而不需要将其记录在rerun.txt文件中。

我的功能文件中有5个场景。如果他们第一次都通过了。它成功地生成了带有cucumber.json报告的报告，其中显示了所有5种场景。但是，如果（比方说）5个场景中有2个失败，并且这些场景在重新运行机制中自动执行，cucumber.json报告文件只记录这两个场景的结果，而不是所有5个场景的结果。如果这两个场景在重新运行中通过，则整个构建通过；如果这两个场景失败，则整个构建失败。这是正确的，但我的问题是cucumber.json被rerun机制覆盖。我尝试使用maven-cucumber-reporting插件V_3.16.0，但它实际上读取了cucumber.json文件本身，因此无法解决我的问题。如有任何帮助，我们将不胜感激。

Answer 1

好消息是你没做错什么！

坏消息是，你所观察到的结果完全和预期的一样。这是链接不同工具(surefire-->junit-->cucumber)的自然结果，否则这些工具彼此不知道。从Cucumber的角度来看，重新运行似乎是一个全新的执行，因此它将很高兴地覆盖旧的报告。只有在链的开始，才有可能创建准确的报告。

因此，您的选择从最小到最大的努力和最差到最好的质量是：