使用python Web抓取动态内容
我想使用Python在这样的网页上抓取“正在寻找这些作者：”框中的内容：http
:
//academic.research.microsoft.com/Search?query=lander
不幸的是，盒子的内容是由JavaScript动态加载的。通常在这种情况下，我可以阅读Javascript来了解发生了什么，或者可以使用Firebug之类的浏览器扩展来了解动态内容的来源。这次没有这样的运气了……Javascript非常复杂，Firebug并没有提供很多有关如何获取内容的线索。
是否有任何技巧可以使此任务轻松完成？
问题答案：
您可以使用ghost.py直接与页面上的JavaScript交互，而不必尝试进行反向工程。
如果您在chrome控制台中运行以下查询，则会看到该查询返回您想要的所有内容。
document.getElementsByClassName('inline-text-org');
退货
[<div class="inline-text-org" title="University of Manchester">University of Manchester</div>,
<div class="inline-text-org" title="University of California Irvine">University of California ...</div>
etc...
您可以使用ghost.py在真实的DOM中通过python运行JavaScript
。
这真的很酷：
from ghost import Ghost
ghost = Ghost()
page, resources = ghost.open('http://academic.research.microsoft.com/Search?query=lander')
result, resources = ghost.evaluate(
"document.getElementsByClassName('inline-text-org');")
-
问题内容： 免责声明：我在StackOverflow上看到过许多其他类似的帖子，并尝试以相同的方式进行操作，但是它们似乎在此网站上不起作用。 我正在使用Python-Scrapy从koovs.com获取数据。 但是，我无法获得动态生成的产品尺寸。具体来说，如果有人可以引导我从此链接的下拉菜单中获取“不可用”尺寸标签，我将不胜感激。 我可以静态获取尺寸列表，但这样做只能得到尺寸列表，但不能获得其中的
-
我想使用Python在这样的网页上抓取“你在寻找这些作者吗”框的内容：http://academic.research.microsoft.com/Search?query=lander 不幸的是，该框的内容是由JavaScript动态加载的。通常在这种情况下，我可以阅读Javascript来了解发生了什么，或者我可以使用Firebug之类的浏览器扩展来了解动态内容的来源。这次没有这样的运气。。。
-
问题内容： 我需要从此网站Link中抓取新闻公告。公告似乎是动态生成的。它们不会出现在源代码中。我通常使用机械化，但是我认为它不会起作用。我该怎么办？我可以使用python或perl。 问题答案： 礼貌的选择是询问网站所有者是否具有允许您访问其新闻报道的API。 不太礼貌的选择是跟踪页面加载时发生的HTTP事务，并确定哪一个是AJAX调用，该调用会提取数据。 看起来就是这个。但是看起来它可能包含会
-
问题内容： 我正在尝试抓取一个网站，但我没有得到某些要素，因为这些要素是动态创建的。 我在node.js中使用了cheerio，下面是我的代码。 此代码返回空响应，因为加载页面时，该页面为空。 内容尚未添加。 如何使用node.js获取这些元素？如何抓取具有动态内容的页面？ 问题答案： 干得好;
-
问题内容： 在网站上，有在标顶部的几个环节，，，和。如果按下以数字标记的链接，它将动态地将一些数据加载到content中。如果被按下，它会用标签页，，，和第4页中的数据显示。 我想从按下的所有链接的内容中抓取数据（我不知道有多少，一次只显示3个，然后） 请举一个例子。例如，考虑网站www.cnet.com。 请指导我下载使用selenium的一系列页面，并自行解析它们以处理漂亮的汤。 问题答案：
-
问题内容： 我最近一直在学习Python，并全力以赴来构建网络抓取工具。一点都不花哨。其唯一目的是从博彩网站上获取数据并将其放入Excel。 大多数问题都是可以解决的，我周围有些混乱。但是，我在一个问题上遇到了巨大的障碍。如果站点加载一张马表并列出当前的投注价格，则此信息不在任何源文件中。提示是该数据有时是活动的，并且明显从某个远程服务器更新了这些数据。我PC上的HTML只是有一个漏洞，他们的服务