浅析python实现scrapy定时执行爬虫
项目需要程序能够放在超算中心定时运行，于是针对scrapy写了一个定时爬虫的程序main.py ，直接放在scrapy的存储代码的目录中就能设定时间定时多次执行。
最简单的方法：直接使用Timer类
import time
import os
while True:
os.system("scrapy crawl News")
time.sleep(86400) #每隔一天运行一次 24*60*60=86400s或者，使用标准库的sched模块
import sched
#初始化sched模块的scheduler类
#第一个参数是一个可以返回时间戳的函数，第二个参数可以在定时未到达之前阻塞。
schedule = sched.scheduler ( time.time, time.sleep )
#被周期性调度触发的函数
def func():
os.system("scrapy crawl News")
def perform1(inc):
schedule.enter(inc,0,perform1,(inc,))
func() # 需要周期执行的函数
def mymain():
schedule.enter(0,0,perform1,(86400,))
if __name__=="__main__":
mymain()
schedule.run() # 开始运行，直到计划时间队列变成空为止关于cmd的实现方法，本人在单次执行爬虫程序时使用的是
cmdline.execute("scrapy crawl News".split())但可能因为cmdline是scrapy模块中自带的，所以定时执行时只能执行一次就退出了。
小伙伴有种方法是使用
import subprocess
subprocess.Popen("scrapy crawl News")
她的程序运行正常可以定时多次执行，而我的却直接退出了，改为
from subprocess import Popen
subprocess.Popen("scrapy crawl News")
才正常，不知道为什么会这样，如果有大神可以解释原因还请指点。
反正
os.system、subprocess.Popen
都是pythoncmd的实现方法，可以根据需要选择使用。
总结
以上所述是小编给大家介绍的python实现scrapy定时执行爬虫，希望对大家有所帮助，如果大家有任何疑问欢迎给我留言，小编会及时回复大家的！
-
本文向大家介绍python中用Scrapy实现定时爬虫的实例讲解，包括了python中用Scrapy实现定时爬虫的实例讲解的使用技巧和注意事项，需要的朋友参考一下 一般网站发布信息会在具体实现范围内发布，我们在进行网络爬虫的过程中，可以通过设置定时爬虫，定时的爬取网站的内容。使用python爬虫框架Scrapy框架可以实现定时爬虫，而且可以根据我们的时间需求，方便的修改定时的时间。 1、Scrap
-
本文向大家介绍Python Scrapy多页数据爬取实现过程解析，包括了Python Scrapy多页数据爬取实现过程解析的使用技巧和注意事项，需要的朋友参考一下 1.先指定通用模板 url = 'https://www.qiushibaike.com/text/page/%d/'#通用的url模板 pageNum = 1 2.对parse方法递归处理 parse第一次调用表示的是用来解析第一页对
-
主要内容：Scrapy下载安装,创建Scrapy爬虫项目,Scrapy爬虫工作流程,settings配置文件Scrapy 是一个基于 Twisted 实现的异步处理爬虫框架，该框架使用纯 Python 语言编写。Scrapy 框架应用广泛，常用于数据采集、网络监测，以及自动化测试等。 提示：Twisted 是一个基于事件驱动的网络引擎框架，同样采用 Python 实现。 Scrapy下载安装 Scrapy 支持常见的主流平台，比如 Linux、Mac、Windows 等，因此你可以很方便的安装它
-
本文向大家介绍scrapy实践之翻页爬取的实现，包括了scrapy实践之翻页爬取的实现的使用技巧和注意事项，需要的朋友参考一下 安装 Scrapy的安装很简单，官方文档也有详细的说明 http://scrapy-chs.readthedocs.io/zh_CN/0.24/intro/install.html 。这里不详细说明了。 在scrapy框架中，spider具有以下几个功能 1. 定义初始爬
-
任务：爬取腾讯网中关于指定条件的所有社会招聘信息，搜索条件为北京地区，Python关键字的就业岗位,并将信息存储到MySql数据库中。 网址：https://hr.tencent.com/position.php?keywords=python&lid=2156 实现思路：首先爬取每页的招聘信息列表，再爬取对应的招聘详情信息 ① 创建项目 在命令行编写下面命令，创建项目tencent scrapy
-
我正在尝试让nutch 1.11执行爬网。我正在使用cygwin在windows 7中运行这些命令。 Nutch正在运行，运行bin/Nutch会得到结果，但当我尝试运行爬网时，会不断收到错误消息。 当我尝试使用 nutch 运行爬网执行时，我收到以下错误： 运行时出错：/cygdrive/c/Users/User5/Documents/Nutch/apache-Nutch-1.11/runtim