覆盖率与可达代码

Question

问：如何检测真实的测试覆盖率？

我注意到代码覆盖率度量和测试质量的一个问题：100%的代码覆盖率并不意味着代码真的被测试过。

有时测试会给出100%的覆盖率，即使它不能涵盖所有内容。问题在于覆盖率定义，我们假设覆盖率==可达代码。

但这不是真的，代码可以100%可访问，但不能100%覆盖测试。

举个例子，这个测试提供了100%的覆盖率（EMMA），但实际上它不包括将传递给服务模拟的值。所以，如果改变值，测试不会失败。

例子：

public class User {
  public static final int INT_VALUE = 1;
  public static final boolean BOOLEAN_VALUE = false;
  public static final String STRING_VALUE = "";
  private Service service;

  public void setService(Service service) {
      this.service = service;
  }

  public String userMethod() {
      return service.doSomething(INT_VALUE, BOOLEAN_VALUE, STRING_VALUE);
  }
}

并对其进行测试：

public class UserTest {

  private User user;
  private Service easyMockNiceMock;

  @Before
  public void setUp() throws Exception {
      user = new User();
      easyMockNiceMock = EasyMock.createNiceMock(Service.class);
  }

  @Test
  public void nonCoverage() throws Exception {
      // given
      user.setService(easyMockNiceMock);
      expect(easyMockNiceMock.doSomething(anyInt(), anyBoolean(), (String) anyObject())).andReturn("");
      replay(easyMockNiceMock);
      // when
      user.userMethod();
      // then
      verify(easyMockNiceMock);
  }
}

Answer 1

100%的覆盖率从来就不意味着100%的测试，任何声称100%的人要么不理解，要么是在骗你。覆盖率测量只是测量测试期间执行了什么产品代码。有几十种方法可以编写产生100%覆盖率的测试，然后不要完全测试你的代码。

最简单的方法是编写一个调用产品函数的测试，然后永远不要对返回值做出任何断言！

我写了一篇关于这个主题的博文：覆盖率度量中的缺陷，它以Python为中心，但概念都是一样的。

Answer 2

看看Jester，它执行突变测试。从网站：

Jester发现测试中没有包含的代码。Jester会对代码进行一些更改，运行测试，如果测试通过，Jester会显示一条消息，说明更改了什么。Jester包含一个脚本，用于生成网页，显示未导致测试失败的更改。

Jester不同于代码覆盖工具，因为它可以找到通过运行测试执行但未实际测试的代码。Jester的方法被称为变异测试或自动错误播种。然而，Jester并不是代码覆盖工具的替代品，只是一种补充方法。