scrapy读取MySQL数据_如何使用scrapy中的spider从mysql中获取数据并从web中提取数据...

我有一个蜘蛛和管道

并编写一段代码从web中提取数据并插入到MySQL中

正在运行的class AmazonAllDepartmentSpider(scrapy.Spider):

name = "amazon"

allowed_domains = ["amazon.com"]

start_urls = [

"http://www.amazon.com/gp/site-directory/ref=nav_sad/187-3757581-3331414"

]

def parse(self, response):

for sel in response.xpath('//ul[@class="nav_cat_links"]/li'):

item = AmazoncrawlerItem()

# pop() removes [u''] tag from

item['title'] = sel.xpath('a/text()').extract().pop()

item['link'] = sel.xpath('a/@href').extract().pop()

item['desc'] = sel.xpath('text()').extract()

yield item

以及

^{pr2}$

现在我想得到这些数据(这是一个链接的网址)

再次调用spider从web中提取数据

请帮我怎么做谢谢