WebTest比拼Selenium：模拟和真实浏览器上的测试

Web应用软件的功能测试工具有很多种，但它们最根本的差异在于：某些工具可以驱动一个或多个真正的浏览器以便得到完全真实的环境，比如Selenium，而另一些工具只是模拟Web浏览器的操作，比如Canoo WebTest。Marc Guillemot将这两种工具进行了对比，根据他的观点，WebTest以13:5的比分获胜。

Marc就以下方面内容对这两种工具进行了对比和评分：

Marc认为，这些测试不够快，但“WetTest 的工作不多，所有测试都运行在JVM上”。他也提到Selenium无法捕获Javascript错误导致的测试失败：

只要你的单元测试通过了，你就不在意编辑错误了吗？肯定不是！但事实上，Selenium就是这样的，因为它不能检测到你的应用程序中的javascript错误（除非这些测试直接导致测试失败）。
另外，他也提到Ajax 测试（一般来说，大家都认为这是浏览器模拟器的弱点）是一种纽带：

与一般的想法相反，你并不需要在浏览器中运行你的JavaScript测试来测试AJAX功能。HtmlUnit和WebTest可以完成这样的工作，甚至可以称为完全胜任这样的工作，因为它允许更好地测试页内请求，使不可预知的浏览器行为成为可预知的（参见我前一个帖子）。
另一方面，他相信Selenium可以支持多种语言，“Selenium RC可以与不同的开发语言(Java、Ruby、PHP等等)结合，而WebTest只能与Ant结合使用”，还支持不规范的Html以及真实的浏览器：

HtmlUnit对JavaScript支持已经大幅改善，但还不能（且永远不可能）与真正的浏览器行为一模一样。尽管Selenium也更改了一些Web应用的JavaScript正常执行，但它使用真正的浏览器工作，所以已经和浏览器的标准行为相当接近啦。
作为Canoo WebTest和HtmlUnit的首席开发人员，Marc明显倾向于他所接纳的这种形式的工具，在与他讨论之前，请一定要先读一下他的分析报告：

显然，作为WebTest（和HtmlUnit）的负责人，我的确是有倾向性的。但是，我也有多年开发和维护庞大的功能测试套件的经验。客观一点儿说，我可能在其它方向上过分担心了，应该相信Selenium。当然，我将不断地修正我在Selenium理解上的错误。但请您在开始批评我之前，一定要读一下这篇文章。
已经总结了这些反馈。Vitaly认为，WebTest和Selenium的关系可以看作是苹果和桔子的关系。“Selenium，WebTest（HttpUnit），DBUnit，JUnit和其它测试工具是互补的。有些事用这个工具可能完成，用另外一个工具却不成。”还有些人讨论了录制回放和脚本测试各自的优点，以及测试可维护性。Murali推荐使用PragmaticQA Element。

Christian反驳了WebTest对Ajax支持的说法，并提及在他的应用中，“由于HtmlUnit不能解析Dojo的import子句，即使最简单的页面也会抛出异常。”

而Simon认为，对浏览器保真度最重要的一点就是：

象WebTest这样的工具有点太理论化了，它想证明代码完全正常工作，但是只能在理想环境下，与生产环境相去甚远。真正的用户使用的是IE或Firefox，而Selenium可以让我们在“真实的”条件下做测试，例如有内存泄漏问题的脆弱的浏览器，和不符合标准的代码。
没有客户使用WebTest使用的引擎，这意味着尽管我们知道它在某种环境上运行得很好，但并不意味着真的没有麻烦。相反，我们的Selenium测试运行在Firefox之上，也运行在IE之上，所以它会捕获跨平台使用中发生的很多问题。

最后，Kent Tong设想了结合两种方法的途径：

是否可以开发这样一种中间层，即大家只写一套测试，即可以运行在WebTest上，又可以运行在Selenium之上？这样，大家就可以得到WebTest和Selenium各自带来的好处了。