Scrapy crawler中的URL不会屈服于下一个解析器

Question

我在爬的时候遇到了一个问题http://www.brand-in-trend.ru. 正如您在下面看到的，我使用Scrapy并定义了Basespider。第一个解析器工作得非常好，返回在start\u url上找到的所有品牌。

现在，当我想向类别解析器产生回调请求时，我没有得到响应，也没有得到错误。蜘蛛刚刚退出。

蜘蛛网：

class brandintrend(BaseSpider):
name = "brandintrend"

allowed_domains = [ 'trend-in-brand.ru' ]

start_urls      = [ 'http://brand-in-trend.ru/brands/' ]

def parse(self, response):
    hxs         = HtmlXPathSelector(response)
    brands      = hxs.select('//div[@class="brandcol"]/ul/li/a/@href').extract()

    for brand in brands:
        brand = "http://www.brand-in-trend.ru" + brand
        print brand
        # request = Request(brand, callback=self.categories)
        yield Request(brand, callback=self.categories)

def categories(self, response):
    print "Hello World"
    hxs = HtmlXPathSelector(response)
    print response.url

我已经尝试了以下方法来解决此问题：

1. 我测试了生成的品牌URL（例如。http://www.brand-in-trend.ru/brands/parker/)在Chrome中（Javasript关闭），它们工作正常。

如果有人遇到类似的问题，我将非常乐意提供解决方案或建议

提前谢谢

J

Answer 1

这是因为你设置了：

allowed_domains = [ 'trend-in-brand.ru' ]

但是，您正在从其他域抓取url：

start_urls = [ 'http://brand-in-trend.ru/brands/' ]

请参见品牌趋势与品牌趋势。