Scrapy爬虫提取URL，但错过了一半回调

Question

我在尝试刮取此URL时遇到了一个奇怪的问题：

为了执行爬行，我设计了这个：

class IkeaSpider(CrawlSpider) :

    name = "Ikea"
    allower_domains = ["http://www.ikea.com/"]
    start_urls = ["http://www.ikea.com/fr/fr/catalog/productsaz/8/"]

    rules = (
        Rule(SgmlLinkExtractor(allow=[r'.*/catalog/products/\d+']),
            callback='parse_page',
            follow=True),
            )

    logging.basicConfig(filename='example.log',level=logging.ERROR)

        def parse_page(self, response):

            for sel in response.xpath('//div[@class="rightContent"]'):

                 Blah blah blah

我从命令行启动spider，我可以看到URL通常被删除，但是，对于其中一些URL，回调不起作用（大约一半的URL通常被删除）。

由于此页面上有150多个链接，这可能解释了爬虫程序缺少回调（太多作业）的原因。你们中的一些人对此有什么想法吗？

这是日志：

2015-12-25 09:02:55[scrapy]信息：存储在中的csv提要（107项）：test.csv 2015-12-25 09:02:55[scrapy]信息：转储scrapy统计信息：“下载/请求字节”：68554，“下载/请求计数”：217，“下载/请求方法计数/获取”：217，“下载/响应字节”：4577452，“下载/响应计数”：217，“下载器/响应状态计数/200”：216，“下载器/响应状态计数/404”：1，“dupefilter/filtered”：107，“文件计数”：106，“文件状态计数/下载”：106，“完成原因”：“完成”，“完成时间”：datetime.datetime（2015,12,25,8,2,55,548350），“项目刮取计数”：107，“日志计数/调试”：433，“日志计数/错误”，“日志计数/信息”：8，“日志计数/警告”：1，“请求深度最大”：2，“响应接收计数”：217，“调度程序/出列”：110，“调度程序/出列/内存”：110，“调度程序/入列”：110，“调度程序/入列/内存”：110，“开始时间”：datetime.datetime（2015，12，25，8，2，28，656959）2015-12-25 09:02:55[scrapy]信息：蜘蛛关闭（已完成

Answer 1

我不喜欢这些汽车蜘蛛类。我通常只建造我需要的东西。

import scrapy

class IkeaSpider(scrapy.Spider) :

    name = "Ikea"
    allower_domains = ["http://www.ikea.com/"]
    start_urls = ["https://www.ikea.com/fr/fr/cat/produits-products/"]

    logging.basicConfig(filename='example.log',level=logging.ERROR)

        def parse(self, response):
            # You could also use a.vn-nav__link::attr(href) selector.
            for link in response.css('a:contains("/fr/cat/")::attr(href)').getall()
                yield scrapy.Request(link, callback=self.parse_category)

        def parse_category(self, response):
            # parse items or potential sub categories

Answer 2

关于我的问题，我读了很多东西，显然，CrawlSpider类不够具体。这也许可以解释为什么它遗漏了一些链接，因为一些我无法解释的原因。基本上，建议将BaseSpider类与start\u requests和make\u requests\u from\u url方法一起使用，以更具体的方式完成任务。我仍然不能完全确定如何准确地做到这一点。那只是一个暗示。