Scrapy-爬行器开始爬行后更改规则

Question

我的查询是针对爬行蜘蛛

我知道链接提取器规则是一个静态变量，

我可以在运行时更改规则，比如

@classmethod
def set_rules(cls,rules):
 cls.rules = rules

通过

self.set_rules(rules)

这是爬行爬行器可接受的做法吗？如果没有，请建议适当的方法

我的用例，

我正在使用scrapy对特定网站的特定类别A、B、C…Z进行爬网。每个类别有1000个链接，分布在10页上

当scrapy点击某个类别中“太旧”的链接时。我希望爬虫停止跟踪/抓取10页中的其余部分，仅针对该类别，因此我对动态规则的要求会发生变化。

请给我指出正确的方向。

谢谢




Answer 1

我建议您编写自己的定制下载中间件。这将允许你过滤掉那些你不再想提出的请求。

有关Scrapy架构概述的更多详细信息，您可以在此处找到：http://doc.scrapy.org/en/master/topics/architecture.html

关于downloader中间件以及如何编写自定义中间件：http://doc.scrapy.org/en/master/topics/downloader-middleware.html

Answer 2

蜘蛛中的规则不是动态改变的。它们是在CrawlSpider实例化时编译的。您可以随时更改您的spider.rules并重新运行spider._compile_rules（），但我建议不要这样做。

这些规则为爬虫程序创建了一组指令，用于对要爬取的内容进行排队（即，它将请求排队）。这些请求在发送之前不会被重新访问和重新评估，因为规则不是为了改变而“设计”的。因此，即使您确实动态更改了规则，您最终仍然可能会发出一堆您无意的请求，并且仍然会爬取一堆您无意的内容。

例如，如果您的目标页面设置为“类别A”的页面包含指向“类别A”的第1页至第10页的链接，那么Scrapy将为所有10个页面排队请求。如果第2页的条目“太旧了”，改变规则将无济于事，因为对第3-10页的请求已经排队等待发送。

正如@imx51所说，编写一个下载中间件会更好。它们将能够删除您不想再发出的每个请求，因为它们会在下载之前触发每个通过它的请求。