如何在scrapy spider中传递用户定义的参数

Question

我正在尝试将用户定义的参数传递给scrapy's spider。有人能建议如何做到这一点吗？

我在某个地方读到一个参数-a，但不知道如何使用它。

Answer 1

使用爬网命令传递参数

抓取抓取myspider-一个类别='我的类别'-一个域='example.com'

要传递参数以在废料上运行，请将 -a 替换为 -d

中文名：端口/时间表 -d 蜘蛛 =我的蜘蛛 -d 类别 ='我的类别' -d 域='示例.com'

蜘蛛将在其构造函数中接收参数。

class MySpider(Spider):
    name="myspider"
    def __init__(self,category='',domain='', *args,**kwargs):
        super(MySpider, self).__init__(*args, **kwargs)
        self.category = category
        self.domain = domain

Scrapy将所有参数作为蜘蛛属性，您可以完全跳过 init 方法。请注意使用 getattr 方法来获取这些属性，以便您的代码不会中断。

class MySpider(Spider):
    name="myspider"
    start_urls = ('https://httpbin.org/ip',)

    def parse(self,response):
        print getattr(self,'category','')
        print getattr(self,'domain','')

Answer 2

以前的答案是正确的，但是您不必每次想要编写 scrapy 蜘蛛代码时都声明构造函数（__init__），您可以像以前一样指定参数：

scrapy crawl myspider -a parameter1=value1 -a parameter2=value2

在你的蜘蛛代码中，你可以用它们作为蜘蛛参数:

class MySpider(Spider):
    name = 'myspider'
    ...
    def parse(self, response):
        ...
        if self.parameter1 == value1:
            # this is True

        # or also
        if getattr(self, parameter2) == value2:
            # this is also True

它就这样工作了。

Answer 3

使用< code>-a选项在< code>crawl命令中传递蜘蛛参数。例如:

scrapy crawl myspider -a category=electronics -a domain=system

蜘蛛可以将参数作为属性访问：

class MySpider(scrapy.Spider):
    name = 'myspider'

    def __init__(self, category='', **kwargs):
        self.start_urls = [f'http://www.example.com/{category}']  # py36
        super().__init__(**kwargs)  # python3

    def parse(self, response)
        self.log(self.domain)  # system

摘自《纸屑病》文档：http://doc.scrapy.org/en/latest/topics/spiders.html#spider-arguments

2013年更新：添加第二个参数

2015年更新：调整措辞

2016年更新:使用更新的基类并添加super，谢谢@Birla

2017年更新：使用Python3超级

# previously
super(MySpider, self).__init__(**kwargs)  # python2

2018年更新：正如@eLRuLL指出的，爬行器可以将参数作为属性访问