是否可以对通过@dataprovider中完整数据集的完整数据集运行测试，并报告整个测试的结果？

Question

我有一个testNg类，在这个类中，我必须对一组完整的数据运行相同的测试。我可以在@dataprovider中提供每个数据行，但是，每个数据行的结果将显示在报告文件中。就我而言，我必须测试数百万数据。这将导致报告非常混乱。下面是一个示例。

TestData：我的测试数据是一个包含多个JSON行的文件，其中每个JSON对象都应该有一个名称和职业。

{"name":"Jim", "occupation":"racing"} 
{"name":,} 

我的测试NG类将如下所示：

public class TestJSon {
    @DataProvider("lineProvider")
    public Object[][] lineProvider() {
        // return JSON lines
    }

    @Test (dataProvider = "lineProvider")
    public void testJsonLines(String name, String occupation) {
        // Test name and occupation
    }
}

现在输出报告将包含：

为名为Jim的行传递的testJsonLines为{“name”：行失败，}testJsonLines为{}行失败}testJsonLines为{“name”：“Jack”，“occulation”：}行失败

我想要一份简单打印的报告：

对于第2、3和4行中的输入，testJSON输入失败

总而言之，我试图使我的报告组包含所有数据的运行结果，而不是打印每个数据。有没有办法做到这一点？

Answer 1

我也有类似的问题。我们测试了数以百万计的数据-数据提供者方法要么导致outofmemory错误，要么报告不容易查看。

我最终拥有了自己的IReporter实现，它将结果写入excel工作表，允许我进行筛选或进行任何自定义。当然，这必须与其他监听器（ITestListener/IInvokedMethodListener）结合起来，以您想要的方式捕获结果。

在我的例子中，我也使用我自己的并行性来克服有这么多数据的内存不足错误——我通常在90000个测试数据时遇到它。