用python抓取动态内容

Question

我想使用Python在这样的网页上抓取“你在寻找这些作者吗”框的内容：http://academic.research.microsoft.com/Search?query=lander

不幸的是，该框的内容是由JavaScript动态加载的。通常在这种情况下，我可以阅读Javascript来了解发生了什么，或者我可以使用Firebug之类的浏览器扩展来了解动态内容的来源。这次没有这样的运气。。。Javascript非常复杂，Firebug并没有给出很多关于如何获取内容的线索。

有什么技巧可以使这项任务变得容易吗？

Answer 1

为了抓取动态内容，你不需要一个简单的刮刀，而是一个成熟的无头浏览器。

达马尼亚斯/无头浏览器：（几乎）所有现存无头网络浏览器的列表是我见过的最完整的列表；它列出了每种语言的绑定。

（请注意，超过几个列出的项目被放弃了！）

Answer 2

这里早些时候也提出了一个非常类似的问题。引用的是selenium，它最初是web应用程序的测试环境。

我通常使用Chrome的开发者模式，IMHO已经提供了比Firefox更多的细节。

Answer 3

您可以使用ghost，而不是尝试对其进行反向工程。py直接与页面上的JavaScript交互。

如果您在chrome控制台中运行以下查询，您将看到它返回您想要的所有内容。

document.getElementsByClassName('inline-text-org');

退换商品

[<div class=​"inline-text-org" title=​"University of Manchester">​University of Manchester​</div>, 
 <div class=​"inline-text-org" title=​"University of California Irvine">​University of California ...​</div>​
  etc...

你可以通过Python运行JavaScript在现实生活中的DOM使用ghost.py.

这真的很酷：

from ghost import Ghost
ghost = Ghost()
page, resources = ghost.open('http://academic.research.microsoft.com/Search?query=lander')
result, resources = ghost.evaluate(
    "document.getElementsByClassName('inline-text-org');")