Scrapy-发送新请求/使用回调

Question

钻研比使用基本刮擦功能更深。

我了解基本的BaseSpider类：名称、允许的\u域，以及如何为每个start\u url发送请求对象，其中parse函数用作回调函数，parse接收响应。

我知道我的解析函数为每个名为“服务名称”的类的数据保存了一个XPath响应，我相信它会通过循环将每个XPath响应匹配的数据存储到对象“项”中，然后将其发送到“我的items.py容器。

'newUrl'包含连接的URL，需要刮接下来，我需要弄清楚如何让LinkParse函数刮每个newUrl找到，或接收所有链接，它刮个别。

我知道meta用于解析我的对象项数据，回调给请求一个发送响应的函数。

LinkParse将用于从所有链接中抓取更多数据，例如：“项目['test']=link.xpath（'test（）'）。提取（）”

def parse(self, response):
    links = response.selector.xpath('//*[contains(@class, "service-name")]')
    for link in links:
        item = TgmItem()
        item['name'] = link.xpath('text()').extract()
        item['link'] = link.xpath('@href').extract()
        item['newUrl'] = response.url.join(item['link'])
        yield Request(newUrl, meta={'item':item}, callback=self.LinkParse)

def LinkParse(self, response):
    links = response.selector.xpath('*')
    for link in links:
        item = response.request.meta['item']
        item['test'] = link.xpath('text()').extract()
        yield item

我知道在回调函数中解析响应（网页），我需要全部或每个链接（但我认为要解决这个问题，我必须发送当前response.url并在ParseLink函数中处理每个/所有链接）。

我得到一个错误说newUrl没有定义，猜测请求不能接受。

我不希望在这里得到任何帮助，如果有人能为我指出正确的方向，或者做一些进一步的研究？

Answer 1

newUrl变量未定义。改为使用项['newUrl']：

yield Request(item['newUrl'], meta={'item': item}, callback=self.LinkParse)

而且，response.url.join（）调用对我来说没有意义。如果要将response.url与href属性值组合，请使用urljoin（）：

item['newUrl'] = urlparse.urljoin(response.url, item['link'])

此外，我不确定您在LinkParse回调中要做什么。据我所知，您希望遵循“服务名称”链接，并获取每个链接的附加数据。然后，我不明白为什么在LinkParse（）方法中的linkin-links循环中需要这个。

据我所知，您的LinkParse（）方法应该如下所示：

def LinkParse(self, response):
    newfield = response.selector.xpath('//myfield/text()').extract()
    item = response.meta['item']
    item['newfield'] = newfield  
    return item