用JavaScript支持进行屏幕抓取的好工具是什么？

Question

是否有一个好的测试套件或工具集可以自动进行网站导航（带有Javascript支持）并从页面中收集HTML？

当然，我可以使用BeautifulSoup抓取直接的HTML。但这对需要Javascript的网站没有好处。:)

Answer 1

您可以使用Selenium或Watir来驱动真正的浏览器。

还有一些基于JavaScript的无头浏览器：

• PhantomJS是一款无头Webkit浏览器。
• pjscrape是基于PhantomJS和jQuery的抓取框架。
• CasperJS是基于PhantomJS的导航脚本和测试实用程序，如果您需要做的只是指向要抓取的URL。
• Zombie for Node.js
  我个人最熟悉Selenium，它支持以多种语言编写自动化脚本，并且具有更成熟的工具，例如用于Firefox 的出色的Selenium IDE扩展，可用于编写和运行测试用例，以及可以将测试脚本导出为多种语言。