Scrapy-删除重复项并将数据作为单个列表输出？

Question

我正在使用以下代码在页面上的多个链接中爬行，并从每个对应链接中获取数据列表：

import scrapy

class testSpider(scrapy.Spider):
    name = "quotes"
    start_urls = ['http://www.website.com']

    def parse(self, response):
        urls = response.css('div.subject_wrapper > a::attr(href)').extract()
        for url in urls:
            url = response.urljoin(url)
            yield scrapy.Request(url=url, callback=self.getData)

    def getData(self, response):
        data = {'data': response.css('strong.data::text').extract()}
        yield data

它工作正常，但是当它返回每个链接的数据列表时，当我输出到CSV时，它看起来像下面这样：

"dalegribel,Chad,Ninoovcov,dalegribel,Gotenks,sillydog22"

"kaylachic,jmargerum,kaylachic"

"Kempodancer,doctordbrew,Gotenks,dalegribel"

"Gotenks,dalegribel,jmargerum"

...

是否有任何简单/有效的方法将数据输出为一个没有任何重复的行列表（相同的数据可以出现在多个页面上），类似于以下内容？

dalegribel
Chad
Ninoovcov
Gotenks
...

我尝试使用一个数组，然后循环在每个元素上获得一个输出，但得到一个错误，说产量只支持“请求、基础项目、判决或无”。此外，由于我将在大约10k条目上运行此项，我不确定将数据存储在数组中是否会减慢刮擦速度。谢谢。

Answer 1

不确定是否可以使用Scrapy内置方法以某种方式完成，但python的方法是创建一组唯一的元素，检查重复项，并且只生成唯一的元素：

class testSpider(scrapy.Spider):
    name = "quotes"
    start_urls = ['http://www.website.com']
    unique_data = set()

    def parse(self, response):
        urls = response.css('div.subject_wrapper > a::attr(href)').extract()
        for url in urls:
            url = response.urljoin(url)
            yield scrapy.Request(url=url, callback=self.getData)

    def getData(self, response):
        data_list = response.css('strong.data::text').extract()
        for elem in data_list:
            if elem and (elem not in self.unique_data):
                self.unique_data.add(elem)
                yield {'data': elem}