使用刮擦飞溅会严重影响刮擦速度吗？

Question

到目前为止，我一直只使用scrapy并编写自定义类来使用ajax处理网站。

但是，如果我要使用scrapy-splash，据我所知，它会在javascript之后刮擦呈现的html，那么对我的抓取工具的速度会产生重大影响吗？

用scrapy刮擦香草html页面与使用scrapy-splash渲染javascript html所花费的时间之间的比较是什么？

最后，scrapy-splash和Selenium如何比较？

Answer 1

这取决于页面上存在的javascript数量。

您必须知道，渲染所有JavaScript时，启动 会花费一些时间 ，而python应用程序将继续运行而无需等待渲染完成。因此，有时飞溅也无法做到。

• 您可以显式地等待渲染，因为通常需要一些时间。
• 这也是一个好习惯wait。

这里，

import scrapy
from scrapy_splash import SplashRequest

yield scrapy.Request(url, callback=self.parse, meta={'splash':{'args':{'wait':'25'},'endpoint':'render.html'}})

要么

import scrapy
from scrapy_splash import SplashRequest

yield SplashRequest(url, self.parse, endpoint='render.html',
        args={'wait': 5, 'html' : 1 } )

在硒和硒之间

Selenium仅用于自动执行Web浏览器交互，Scrapy用于下载HTML，处理数据并将其保存（整个Web爬行框架）。

谈到抓取，我建议您查看一下scrapy，如果问题出在javascript上。

• Scrapy已经有自己的javascript官方项目，名为scrapy-splash
• 另外，您可以从Scranium中的Selenium创建新的webdriver实例，进行一些工作，提取数据，然后在完成所有工作后将其关闭。