满足管道中的条件后，如何立即停止所有的星形轮和引擎？

Question

我们有一个用scrapy编写的系统，可以抓取一些网站。有 多个蜘蛛 ，以及所有爬虫传递的所有项目的 级联管道 。管道组件之一查询
google服务器以获取地址地理编码 。Google对 每个IP地址每天 限制 2500个请求
，并且威胁要禁止一个IP地址，即使它继续响应google，甚至在google发出警告消息“ OVER_QUERY_LIMIT”后也是如此。

因此，我想了解我可以从管道中调用的任何机制，该机制将 完全立即停止 所有蜘蛛以及主机的所有进一步爬网/处理。

from scrapy.project import crawler
crawler._signal_shutdown(9,0) #Run this if the cnxn fails.

这不起作用，因为蜘蛛需要花费一些时间才能停止执行，因此向Google提出了更多请求（这可能会禁止我的IP地址）

import sys
sys.exit("SHUT DOWN EVERYTHING!")

这个根本不起作用；尽管日志呕吐sys.exit（）-> exceptions.SystemExit引发（无效），但项仍不断生成并传递到管道

• 遇到第一个异常时，如何使草率的爬网中断并退出？

crawler.engine.close_spider(self, 'log message')

这个问题与上述第一种情况相同。

我试过了：

scrapy.project.crawler.engine.stop()

无济于事

编辑 ：如果我在管道中：

从scrapy.contrib.closespider导入CloseSpider

我应该从管道范围中将什么作为“爬虫”参数传递给CloseSpider的 init （）？

Answer 1

您可以引发CloseSpider异常以关闭蜘蛛。但是，我认为这不能通过管道进行。

编辑 ：avaleske在对此答案的注释中指出，他能够从管道中引发CloseSpider异常。最明智的方法是使用它。

在此线程的“
Scrapy用户”组中描述了类似的情况。

我引用：

要为代码的任何部分关闭蜘蛛，您应该使用 engine.close_spider
方法。请参阅此扩展以获取用法示例：https
:
//github.com/scrapy/scrapy/blob/master/scrapy/contrib/closespider.py#L61

您可以编写自己的扩展名，同时以closespider.py为例，如果满足特定条件，它将关闭蜘蛛。

另一个 “ hack”是在管道中的蜘蛛上设置一个标志。例如：

管道：

def process_item(self, item, spider):
    if some_flag:
        spider.close_down = True

蜘蛛：

def parse(self, response):
    if self.close_down:
        raise CloseSpider(reason='API usage exceeded')