客户机-服务器集成测试：模拟还是不模拟？

Question

我正在用两个应用程序做project：android应用程序（客户端）和rest服务（服务器）。我的android应用程序消耗了我的rest服务。

这两个应用程序都是单独测试的，以确保它们按照预期完成业务。在服务器测试期间，我准备请求并检查服务器响应。在客户机测试期间，我设置了一个简单的http模拟服务器，并针对不同的模拟响应测试客户机的请求。

现在，这个技术很管用。它给了我一种我喜欢的灵活性。我可以使用不同的测试框架和持续集成环境。但有一个弱点。在两个（客户端和服务器）测试用例中，我指定了相同的API。我假设例如。

GET /foo-list.json

将返回带有json的HTTP 200

[{
    id: 1,
    name: foo1,
}, {
    id: 2,
    name: foo2
}]

所以我重复一遍。如果我改变一个响应格式，我的客户端测试就不会失败。

我的问题是关于测试这类场景的良好实践。如何在不牺牲独立测试灵活性的前提下做出真正的集成测试。我应该用模拟服务器还是用rest服务的真实实例测试客户端？

请分享您的职业经验。

Answer 1

在您的场景中，您应该继续编写单元测试来测试单个类，并编写集成测试来测试多个应用程序层（例如，业务层和数据库层）之间的互操作。

你问：

“如何在不牺牲独立测试灵活性的前提下做出真正的集成测试”

您的所有代码都应该使用抽象，这样您就可以使用模拟依赖项在完全隔离的情况下使用依赖项注入单元测试类。模拟的使用将确保这些测试保持独立，即不耦合到任何其他类。因此采用这种方法，将使用最终具体类的集成测试将不会影响使用模拟类的单元测试。

还有：

“我应该使用模拟服务器还是使用rest服务的真实实例测试客户端？”

除了单元和集成测试之外，您还应该执行客户机-服务器集成测试；我使用自动化验收测试来完成此操作。使用Cucumber这样的测试框架（也可以查看calabash-android，它是专门为测试移动应用程序而编写的），您可以编写测试，测试与客户端（您的Android应用程序）和服务器（您的RESTful服务）交互的特定特性和场景。这些客户机-服务器集成测试将启动和停止客户机和服务器的具体实例。