按计划刮擦

Question

按计划运行Scrapy使我绕过Twist（ed）。

我以为下面的测试代码可以工作，但是twisted.internet.error.ReactorNotRestartable第二次触发蜘蛛时出现错误：

from quotesbot.spiders.quotes import QuotesSpider
import schedule
import time
from scrapy.crawler import CrawlerProcess

def run_spider_script():
    process.crawl(QuotesSpider)
    process.start()


process = CrawlerProcess({
    'USER_AGENT': 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)',
})


schedule.every(5).seconds.do(run_spider_script)

while True:
    schedule.run_pending()
    time.sleep(1)

我猜想，作为CrawlerProcess的一部分，Twisted Reactor会在不需要时再次启动，从而导致程序崩溃。有什么办法可以控制吗？

同样在这个阶段，如果有一种自动执行Scrapy
Spider的替代方法可以按计划运行，我也很高兴。我试过了scrapy.cmdline.execute，但还是不能让它循环：

from quotesbot.spiders.quotes import QuotesSpider
from scrapy import cmdline
import schedule
import time
from scrapy.crawler import CrawlerProcess


def run_spider_cmd():
    print("Running spider")
    cmdline.execute("scrapy crawl quotes".split())


process = CrawlerProcess({
    'USER_AGENT': 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)',
})


schedule.every(5).seconds.do(run_spider_cmd)

while True:
    schedule.run_pending()
    time.sleep(1)

编辑

添加代码，该代码task.LoopingCall()每隔几秒钟使用Twisted运行一次测试蜘蛛。我是否打算用这种错误的方式来计划每天在同一时间运行的Spider？

from twisted.internet import reactor
from twisted.internet import task
from scrapy.crawler import CrawlerRunner
import scrapy

class QuotesSpider(scrapy.Spider):
    name = 'quotes'
    allowed_domains = ['quotes.toscrape.com']
    start_urls = ['http://quotes.toscrape.com/']

    def parse(self, response):

        quotes = response.xpath('//div[@class="quote"]')

        for quote in quotes:

            author = quote.xpath('.//small[@class="author"]/text()').extract_first()
            text = quote.xpath('.//span[@class="text"]/text()').extract_first()

            print(author, text)


def run_crawl():

    runner = CrawlerRunner()
    runner.crawl(QuotesSpider)


l = task.LoopingCall(run_crawl)
l.start(3)

reactor.run()

Answer 1

首先值得注意的是，通常只有 一个
Twisted反应堆正在运行，并且它不可重启（如您所发现）。第二个是应该避免阻塞任务/功能（即time.sleep(n)），并应使用异步替代方法（例如’reactor.task.deferLater（n，…）`）代替。

要从Twisted项目中有效使用Scrapy，需要使用scrapy.crawler.CrawlerRunner核心API，而不是scrapy.crawler.CrawlerProcess。两者之间的主要区别是为您CrawlerProcess运行Twisted的操作reactor（因此很难重新启动反应堆），而后者CrawlerRunner依赖于开发人员来启动反应堆。这是您的代码使用以下代码的样子CrawlerRunner：

from twisted.internet import reactor
from quotesbot.spiders.quotes import QuotesSpider
from scrapy.crawler import CrawlerRunner

def run_crawl():
    """
    Run a spider within Twisted. Once it completes,
    wait 5 seconds and run another spider.
    """
    runner = CrawlerRunner({
        'USER_AGENT': 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)',
        })
    deferred = runner.crawl(QuotesSpider)
    # you can use reactor.callLater or task.deferLater to schedule a function
    deferred.addCallback(reactor.callLater, 5, run_crawl)
    return deferred

run_crawl()
reactor.run()   # you have to run the reactor yourself