使用PIT查找无用的单元测试

Question

假设我们有一个要测试的代码：

class C {
    int doSmth() {
        return 1;
    }
}

现在假设我们在一个类中放置了两个单元测试。第一个“测试所有内容”，而第二个“什么都不做”：

@RunWith(JUnit4.class)
public final class CTest {

    @Test
    @SuppressWarnings("static-method")
    public void testDoSmth() {
        assertEquals(1, new C().doSmth());
    }

    @Test
    @SuppressWarnings("static-method")
    public void testDoSmth2() throws Exception {
        Thread.sleep(1000);
    }
}

这是一个IRL示例：我已经看到几十个测试通过用一些无用的代码替换测试内容来“修复”，因为被测试代码的契约随着时间的推移而变化。

现在，PIT“entry”单元是一个包含测试方法的类（而不是单个测试方法本身），因此在上述情况下，PIT不仅会显示100%的行覆盖率，还会显示100%的突变覆盖率。

好吧，知道我有100%的突变覆盖率，我松了一口气，但是在上面的情况下，我如何识别一个无用的测试——testDoSmth2（）（前提是我的突变覆盖率很高）？

Answer 1

我开发了一种手动方法https://www.codeproject.com/Articles/4051293/Unit-Test-Suite-Quality-EstimationPIT可以给你一些提示。

Answer 2

目前没有任何内置的pitest，但是您需要检测无用（在检测故障方面）测试的数据就在那里。

XML报告输出每个突变的杀死测试（通常是在测试方法的级别）。任何不杀死突变的测试都可以被删除，而不会影响突变分数。

当然，由于其他原因，例如描述一个单元的功能，不杀死突变的测试可能仍然很有价值。

然而，通过静态分析可以更有效地检测示例中显示的极端情况-测试显然不执行任何代码，因此不可能检测其中的故障