忽略对特定域的请求

Question

我试图爬过craiglist的论坛类别。组织机构(https://forums.craigslist.org/).我的蜘蛛：

class CraigslistSpider(scrapy.Spider):
    name = "craigslist"
    allowed_domains = ["forums.craigslist.org"]
    start_urls = ['http://geo.craigslist.org/iso/us/']

    def error_handler(self, failure):
        print failure

    def parse(self, response):
        yield Request('https://forums.craigslist.org/',
                  self.getForumPage,
                  dont_filter=True,
                  errback=self.error_handler)

    def getForumPage(self, response):
        print "forum page"

我通过错误回调收到以下消息：

[失败实例：Traceback:: /usr/local/lib/python2.7/site-packages/twisted/internet/defer.py： 455：回调 /usr/local/lib/python2.7/site-packages/twisted/internet/defer.py:563：_startRunCallbacks /usr/local/lib/python2.7/site-packages/twisted/internet/defer.py:649：_runCallbacks /usr/local/lib/python2.7/site-packages/twisted/internet/<--plhd#######################################################################################################################################process_request /usr/local/lib/python2.7/site-packages/twisted/internetdefer.py:649_runCallbacks /usr/local/lib/python2.7/site-packages/scrapy/downloadermiddlewaresrobotstxt.py:46process_request_2]

但我只有在Craigslist的论坛部分才有这个问题。这可能是因为论坛部分的https与网站的其他部分相反。所以，不可能得到回应。。。

一个主意？

Answer 1

我想你正在处理robots.txt。试着运行你的蜘蛛

custom_settings = {
    "ROBOTSTXT_OBEY": False
}

您也可以使用命令行设置来测试它：scrapy抓取craigslist-sROBOTSTXT_OBEY=False。

Answer 2

我发布了一个我找到的解决方案来解决这个问题。

我使用了urllib2库。看：

import urllib2
from scrapy.http import HtmlResponse

class CraigslistSpider(scrapy.Spider):
name = "craigslist"
allowed_domains = ["forums.craigslist.org"]
start_urls = ['http://geo.craigslist.org/iso/us/']

def error_handler(self, failure):
    print failure

def parse(self, response):
    # Get a valid request with urllib2
    req = urllib2.Request('https://forums.craigslist.org/')
    # Get the content of this request
    pageContent = urllib2.urlopen(req).read()
    # Parse the content in a HtmlResponse compatible with Scrapy
    response = HtmlResponse(url=response.url, body=pageContent)
    print response.css(".forumlistcolumns li").extract()

有了这个解决方案，您可以在一个有效的Scrapy请求中解析一个好的请求，并使用这个普通方法。可能有一种更好的方法，但这种方法是有效的。