如何使用屈服函数从多个页面中抓取数据

Question

我正试图从亚马逊印度网站上搜集数据。在以下情况下，我无法使用yield（）方法收集响应并解析元素：1）我必须从一个产品页面移动到另一个审阅页面2）我必须从一个审阅页面移动到另一个审阅页面

产品页

评论页

代码流：

1） customerReviewData（）调用getCustomerRatingsAndComments（响应）

2） GetCustomerRatings和Comments（response）查找审阅页面的URL，并使用getCrrFromReviewPage（request）作为回调方法调用收益请求方法，使用此审阅页面的URL

3）getCrrFromRevewPage（）获取firstreet view页面的新响应，并从第一个评论页面（页面加载）中抓取所有元素，并将其添加到客户端评论数据列表[]

4）获取下一页的URL（如果存在），并递归调用getCrrFromRevewPage（）方法，从下一页抓取元素，直到抓取所有的评论页面

5）所有的评论被添加到客户评论DataList[]

我尝试过使用yield（）修改参数，还查阅了有关yield（）和请求/响应yield（）的详细文档

# -*- coding: utf-8 -*-
import scrapy
import logging

customerReviewDataList = []
customerReviewData = {}

#Get product name in <H1>
def getProductTitleH1(response):
    titleH1 =  response.xpath('normalize-space(//*[@id="productTitle"]/text())').extract()
    return titleH1

def getCustomerRatingsAndComments(response):
    #Fetches the relative url
    reviewRelativePageUrl = response.css('#reviews-medley-footer a::attr(href)').extract()[0]
    if reviewRelativePageUrl:
        #get absolute URL
        reviewPageAbsoluteUrl = response.urljoin(reviewRelativePageUrl)
        yield Request(url = reviewPageAbsoluteUrl, callback = getCrrFromReviewPage())
        self.log("yield request complete")

    return len(customerReviewDataList)

def getCrrFromReviewPage():

    userReviewsAndRatings = response.xpath('//div[@id="cm_cr-review_list"]/div[@data-hook="review"]')


    for userReviewAndRating in userReviewsAndRatings:
        customerReviewData[reviewTitle] = response.css('#cm_cr-review_list .review-title span ::text').extract()
        customerReviewData[reviewDescription] = response.css('#cm_cr-review_list .review-text span::text').extract()
        customerReviewDataList.append(customerReviewData) 

    reviewNextPageRelativeUrl = response.css('#cm_cr-pagination_bar .a-pagination .a-last a::attr(href)')[0].extract()

    if reviewNextPageRelativeUrl:
        reviewNextPageAbsoluteUrl = response.urljoin(reviewNextPageRelativeUrl)
        yield Request(url = reviewNextPageAbsoluteUrl, callback = getCrrFromReviewPage())


class UsAmazonSpider(scrapy.Spider):
    name = 'Test_Crawler'
    allowed_domains = ['amazon.in']
    start_urls = ['https://www.amazon.in/Philips-Trimmer-Cordless-Corded-QT4011/dp/B00JJIDBIC/ref=sr_1_3?keywords=philips&qid=1554266853&s=gateway&sr=8-3']

    def parse(self, response):
        titleH1 = getProductTitleH1(response),
        customerReviewData = getCustomerRatingsAndComments(response)

        yield{
        'Title_H1' : titleH1,
        'customer_Review_Data' : customerReviewData
        }

我得到了以下回应：

{'Title_H1': (['Philips Beard Trimmer Cordless and Corded for Men QT4011/15'],), 'customer_Review_Data': <generator object getCustomerRatingsAndComments at 0x048AC630>}

“Customer_review_Data”应该是标题和审查的裁决列表

我不知道我在这里犯了什么错误。

当我使用log（）或print（）查看customerReviewDataList[]中捕获的数据时，也无法在控制台中查看数据。

我能够刮所有的评论在客户评论DataList[]，如果他们存在于产品页面，

在这个场景中，我必须使用屈服函数，我得到的输出如上所述[https://ibb.co/kq8w6cf]

这就是我想要的输出：

{'customerReviewTitle': ['Difficult to find a charger adapter'],'customerReviewComment': ['I already have a phillips trimmer which was only cordless. ], 'customerReviewTitle': ['Good Product'],'customerReviewComment': ['Solves my need perfectly HK']}]}

任何帮助都很感激。提前感谢。

Answer 1

您应该完成Scrapy教程。下面的链接部分应该对您特别有帮助。

这是代码的简化版本：

def data_request_iterator():
    yield Request('https://example.org')

class MySpider(Spider):
    name = 'myspider'
    start_urls = ['https://example.com']

    def parse(self, response):
        yield {
            'title': response.css('title::text').get(),
            'data': data_request_iterator(),
        }

相反，它应该是这样的：

class MySpider(Spider):
    name = 'myspider'
    start_urls = ['https://example.com']

    def parse(self, response):
        item = {
            'title': response.css('title::text').get(),
        }
        yield Request('https://example.org', meta={'item': item}, callback=self.parse_data)

    def parse_data(self, response):
        item = response.meta['item']
        # TODO: Extend item with data from this second response as needed.
        yield item