是否有任何方法为每个卡盘使用单独的刮擦管道？

Question

我想获取不同域下的网页，这意味着我必须在“scrapy crawl myspider”命令下使用不同的蜘蛛。然而，由于网页的内容不同，我不得不使用不同的管道逻辑将数据放入数据库。但是对于每个spider，它们都必须经过settings.py中定义的所有管道。是否有其他优雅的方法为每个卡盘使用单独的管道？

Answer 1

一个更健壮的解决方案；不记得我在哪里找到的，但是一个糟糕的开发人员在某个地方提出了它...使用此方法可以让您通过不使用包装器在所有蜘蛛上运行一些管道。它还使您不必重复检查是否使用管道的逻辑。

包装器：

def check_spider_pipeline(process_item_method):
    """
        This wrapper makes it so pipelines can be turned on and off at a spider level.
    """
    @functools.wraps(process_item_method)
    def wrapper(self, item, spider):
        if self.__class__ in spider.pipeline:
            return process_item_method(self, item, spider)
        else:
            return item

    return wrapper

使用方法：

@check_spider_pipeline
def process_item(self, item, spider):
    ........
    ........
    return item

Spider的用法：

pipeline = {some.pipeline, some.other.pipeline .....}

Answer 2

上面的一个稍微好一点的版本如下。这是更好的，因为这种方式允许您选择性地打开不同蜘蛛的管道比上面管道中的'not in['spider1'，'spider2']'的编码更容易。

在spider类中，添加：

#start_urls=...
pipelines = ['pipeline1', 'pipeline2'] #allows you to selectively turn on pipelines within spiders
#...

然后在每个管道中，您可以使用getattr方法作为魔术。加：

class pipeline1():  
    def process_item(self, item, spider):
       if 'pipeline1' not in getattr(spider, 'pipelines'):
          return item
       #...keep going as normal  

Answer 3

ITEM_PIPELINES设置是在引擎启动期间为项目中的所有spider全局定义的。每个蜘蛛都不能动态更改它。

以下是一些需要考虑的选项：

>

更改管道的代码。跳过/继续处理管道的process_item方法中蜘蛛返回的项目，例如：

def process_item(self, item, spider): 
    if spider.name not in ['spider1', 'spider2']: 
        return item  

    # process item

改变你开始爬行的方式。从脚本中执行此操作，基于作为参数传递的蜘蛛名称，在调用crawler.configure（）之前覆盖您的ITEM_PIPELINES设置。

另见：

• 很有意思。开始爬网后如何更改爬行器设置？

希望这有所帮助。