scrapy原码解读---Spider
一、spider的作用和功能
- 根据url生成Request并指定回调方法处理Response。第一个Request是通过start_requests()产生的；
- 在回调方法中，解析页面的Response，返回Item实例或者Request实例，或者这两种实例的可迭代对象；
- 在回调方法中，通常使用Selectors（也可以使用BeautifulSoup，lxml等）来提取数据；
- 最后spider会return item给Pipline完成数据的清洗，持久化等操作。
二、源码解析
类scrapy.spiders.Spider 是最简单的spider，所有的spider包括自己定义的和scrapy提供的都会继承它。它只是提供最基本的特性，也是我最常用的spider类。
源码:
"""
Base class for Scrapy spiders
See documentation in docs/topics/spiders.rst
"""
import logging
import warnings
from scrapy import signals
from scrapy.http import Request
from scrapy.utils.trackref import object_ref
from scrapy.utils.url import url_is_from_spider
from scrapy.utils.deprecate import create_deprecated_class
from scrapy.exceptions import ScrapyDeprecationWarning
from scrapy.utils.deprecate import method_is_overridden
class Spider(object_ref):
"""
Base class for scrapy spiders. All spiders must inherit from this
class.
"""
name = None
custom_settings = None
def __init__(self, name=None, **kwargs):
if name is not None:
self.name = name
elif not getattr(self, 'name', None):
raise ValueError("%s must have a name" % type(self).__name__)
self.__dict__.update(kwargs)
if not hasattr(self, 'start_urls'):
self.start_urls = []
@property
def logger(self):
logger = logging.getLogger(self.name)
return logging.LoggerAdapter(logger, {'spider': self})
def log(self, message, level=logging.DEBUG, **kw):
"""
Log the given message at the given log level
This helper wraps a log call to the logger within the spider, but you
can use it directly (e.g. Spider.logger.info('msg')) or use any other
Python logger too.
"""
self.logger.log(level, message, **kw)
@classmethod
def from_crawler(cls, crawler, *args, **kwargs):
spider = cls(*args, **kwargs)
spider._set_crawler(crawler)
return spider
def set_crawler(self, crawler):
warnings.warn("set_crawler is deprecated, instantiate and bound the "
"spider to this crawler with from_crawler method "
"instead.",
category=ScrapyDeprecationWarning, stacklevel=2)
assert not hasattr(self, 'crawler'), "Spider already bounded to a " \
"crawler"
self._set_crawler(crawler)
def _set_crawler(self, crawler):
self.crawler = crawler
self.settings = crawler.settings
crawler.signals.connect(self.close, signals.spider_closed)
def start_requests(self):
cls = self.__class__
if method_is_overridden(cls, Spider, 'make_requests_from_url'):
warnings.warn(
"Spider.make_requests_from_url method is deprecated; it "
"won't be called in future Scrapy releases. Please "
"override Spider.start_requests method instead (see %s.%s)." % (
cls.__module__, cls.__name__
),
)
for url in self.start_urls:
yield self.make_requests_from_url(url)
else:
for url in self.start_urls:
yield Request(url, dont_filter=True)
def make_requests_from_url(self, url):
""" This method is deprecated. """
return Request(url, dont_filter=True)
def parse(self, response):
raise NotImplementedError
@classmethod
def update_settings(cls, settings):
settings.setdict(cls.custom_settings or {}, priority='spider')
@classmethod
def handles_request(cls, request):
return url_is_from_spider(request.url, cls)
@staticmethod
def close(spider, reason):
closed = getattr(spider, 'closed', None)
if callable(closed):
return closed(reason)
def __str__(self):
return "<%s %r at 0x%0x>" % (type(self).__name__, self.name, id(self))
__repr__ = __str__
BaseSpider = create_deprecated_class('BaseSpider', Spider)
class ObsoleteClass(object):
def __init__(self, message):
self.message = message
def __getattr__(self, name):
raise AttributeError(self.message)
spiders = ObsoleteClass(
'"from scrapy.spider import spiders" no longer works - use '
'"from scrapy.spiderloader import SpiderLoader" and instantiate '
'it with your project settings"'
)
# Top-level imports
from scrapy.spiders.crawl import CrawlSpider, Rule
from scrapy.spiders.feed import XMLFeedSpider, CSVFeedSpider
from scrapy.spiders.sitemap import SitemapSpider
name：
这个属性是字符串变量，是这个类的名称，代码会通过它来定位spider，所以它必须唯一，它是spider最重要的属性。查看源码中__init__的定义，可以发现这个属性是可以修改的。
allowed_domains：
这个属性是一个列表，里面记载了允许采集的网站的域名，该值如果没定义或者为空时表示所有的域名都不进行过滤操作。如果url的域名不在这个变量中，那么这个url将不会被处理。不想使用域名过滤功能时可以在settings中注释掉OffsiteMiddleware（可能导致爬虫停不下来）。
start_urls：
这个属性是一个列表或者元组，其作用是存放起始urls，相当于这次任务的种子。使用base（默认）模板创建spider时，该值是个元组，创建元组并且只有一个元素时需要在元素后面添加“,”来消除歧义。
custom_settings：
这个属性值是一个字典，存放settings键值对，用于覆盖项目中的settings.py的值，可以做到在一个项目中的不同spider可以有不同的配置。
但是有些settings的值覆盖，不起作用，如：“LOG_FILE”。如果想每个spider都有自己的log文件的话就不能这么做。因为日志操作在这个方法执行之前，那么无论怎么改都改不了之前的行为。
crawler：
这个值从源码可以看出来自于方法from_crawler()。该值是一个Crawler 实例， Crawler另文解读。
settings：
这个值也是来自于方法from_crawler()。是一个Settings 实例，Settings另文解读。
logger：
记录日志用的。
from_crawler：
这是一个类方法，scrapy创建spider的时候会调用。调用位置在crawler.py 的类Crawler中。在源码中，可以看到，在实例化这个spider以后，这个实例才有的settings和crawler属性，所以在__init__方法中是没法访问这俩属性的。如果非要在__init__方法中使用相关属性，那么只能重写该方法。
start_requests()：
这个方法必须返回一个可迭代对象，如果想对属性start_urls做一些操作（增删改），并希望结果作为种子url去采集网站的时候，可以重写这个方法来实现。有了这个方法，甚至都不用在代码中定义start_urls。比如我们想要读取持久化的url执行采集操作，那么就没必要转存进start_urls里面，可以直接请求这些urls。当种子urls需要post请求的话，也需要重写该方法。
make_requests_from_url(url)：
Request初始化没有回调方法，就是默认采用parse方法作为回调。另外这里的dont_filter值为True，这个值的作用是该url不会被过滤
parse(self, response):
这个方法作为默认回调方法，Request没有指定回调方法的时候会调用它，这个回调方法和别的回调方法一样返回值只能是Request, 字典和item对象，或者它们的可迭代对象。
log(message[, level, component])：
这个方法是对logger的包装
closed(reason)：
当这个spider结束时这个方法会被调用，参数是一个字符串，是结束的原因。作用是当spider结束时，需要做一些操作，可以写在这里。