共享模拟并行测试

Question

我正在编写一个单元测试类（使用testng)，它模拟了成员变量（使用Mockito)，并并行运行测试。我最初在@BeForeClass方法中设置了预期的mock，在每个测试用例中，我通过为每个异常情况创建mockito.when来破坏一些东西。

我所看到的（不出所料）是这些测试不是独立的；当一个测试用例中的mockito.when会影响其他测试用例。我注意到可以在每次测试之前设置模拟，因此我将@BeForeClass更改为@BeForeMethod。我仍然没想到这些测试会一致通过，因为所有测试仍然同时在同一个共享模拟对象上运行。然而，所有的测试开始一致通过。我的问题是“为什么”？这最终会失败吗？无论我做什么（线程、睡眠等），我都不能重现失败。

使用@BeforeMethod是否足以使这些测试独立？如果是的话，有谁能解释一下原因吗？

下面的示例代码：

public class ExampleTest {
    @Mock
    private List<String> list;

    @BeforeClass // Changing to @BeforeMethod works for some reason
    public void setup() throws NoSuchComponentException, ADPRuntimeException {
        MockitoAnnotations.initMocks(this);
        Mockito.when(list.get(0)).thenReturn("normal");
    }

    @Test
    public void testNormalCase() throws InterruptedException {
        assertEquals(list.get(0), "normal"); // Fails with expected [normal] but found [exceptional]
    }

    @Test
    public void testExceptionalCase() throws InterruptedException {
        Mockito.when(list.get(0)).thenReturn("exceptional");
        assertEquals(list.get(0), "exceptional");
    }
}

Answer 1

这里的问题是TestNG创建了测试类exampletest的一个实例，并且这是由@test两个方法使用的实例。

因此，当您使用@beforeClass时，如果TestExceptionalCase()首先运行并更改了测试类的状态，则TestNormalCase()将随机失败。

当您将注释更改为@BeforeMethod时，将导致安装程序在每个@test方法执行之前执行。

但是在一种情况下，您的设置仍然会失败，即当您在TestNG套件xml文件中的 标记中使用parallel=“methods”属性时，即当您配置TestNG并指示它并行运行每个@test方法时。

在这种情况下，TestExceptionalCase()中的mockito.when()将影响共享状态[因为您在所有@test方法中以共享的方式使用this]，导致TestNormalCase()随机失败。

为了解决这个问题，我建议您执行以下操作：

• 不要在@test方法之间共享此，而是将其单独放置在测试类之外，即将测试类的所有数据成员放置在单独的pojo中，而不是对此进行模拟。
• 使用ThreadLocal存储由mockito.when()模拟的状态，然后从@test方法中对ThreadLocal运行断言。