Linux部署python爬虫脚本,并设置定时任务的方法
去年因项目需要，用python写了个爬虫。因爬到的数据需要存到生产环境的PG数据库。所以需要将脚本部署到CentOS服务器，并设置定时任务，自动启动脚本。
实施步骤如下：
1.安装pip（操作系统自带了python2.6可以直接用，但是没有pip）
# 下载pip安装包 wget "https://pypi.python.org/packages/source/p/pip/pip-1.5.4.tar.gz#md5=834b2904f92d46aaa333267fb1c922bb" --no-check-certificate # 解压安装包并安装 tar -xzvf pip-1.5.4.tar.gz cd pip-1.5.4 python setup.py install
2.用pip安装第三方库
pip install PyGreSQL==5.0.3 pip install requests==2.18.3
3.设置定时任务
# 开启定时任务服务 service crond start # 查看定时任务服务状态 service crond status # 打开定时任务编辑窗口 crontab -e # 添加两条定时任务，即每天0点0分和12点20分各执行一次，并写入日志 0 0 * * * /usr/bin/python /home/longrise/psrd/collect.py > /home/longrise/psrd/collect.log 2>&1 & 20 12 * * * /usr/bin/python /home/longrise/psrd/collect.py > /home/longrise/psrd/collect.log 2>&1 & 定时任务语法如下： # For details see man 4 crontabs # Example of job definition: # .---------------- minute (0 - 59) # | .------------- hour (0 - 23) # | | .---------- day of month (1 - 31) # | | | .------- month (1 - 12) OR jan,feb,mar,apr ... # | | | | .---- day of week (0 - 6) (Sunday=0 or 7) OR sun,mon,tue,wed,thu,fri,sat # | | | | | # * * * * * user-name command to be executed
以上这篇Linux部署python爬虫脚本,并设置定时任务的方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持小牛知识库。
-
本文向大家介绍centos 设置定时任务执行指定脚本的方法，包括了centos 设置定时任务执行指定脚本的方法的使用技巧和注意事项，需要的朋友参考一下 vim /etc/crontab SHELL=/bin/bash PATH=/sbin:/bin:/usr/sbin:/usr/bin MAILTO=root HOME=/ # For details see man 4 crontabs # Ex
-
本文向大家介绍Python爬虫定时计划任务的几种常见方法(推荐)，包括了Python爬虫定时计划任务的几种常见方法(推荐)的使用技巧和注意事项，需要的朋友参考一下 记得以前的Windows任务定时是可以正常使用的，今天试了下，发现不能正常使用了，任务计划总是挂起。接下来记录下Python爬虫定时任务的几种解决方法。 1.方法一、while True 首先最容易的是while true死循环挂起，不
-
本文向大家介绍python 每天如何定时启动爬虫任务(实现方法分享)，包括了python 每天如何定时启动爬虫任务(实现方法分享)的使用技巧和注意事项，需要的朋友参考一下 python2.7环境下运行 安装相关模块 想要每天定时启动，最好是把程序放在linux服务器上运行，毕竟linux可以不用关机，即定时任务一直存活； 以上这篇python 每天如何定时启动爬虫任务(实现方法分享)就是小编分享给
-
本文向大家介绍Python爬虫之Selenium设置元素等待的方法，包括了Python爬虫之Selenium设置元素等待的方法的使用技巧和注意事项，需要的朋友参考一下 一、显式等待 WebDriverWait类是由WebDirver 提供的等待方法。在设置时间内，默认每隔一段时间检测一次当前页面元素是否存在，如果超过设置时间检测不到则抛出异常（TimeoutException） 语法： WebDr
-
本文向大家介绍Linux centos下设置定时备份任务的方法步骤，包括了Linux centos下设置定时备份任务的方法步骤的使用技巧和注意事项，需要的朋友参考一下 实现准备 1.编写shell脚本 2.执行test.sh 3.执行ls -la 4.给文件test.sh赋与执行权限 5.再次执行,脚本没有报错 6.编辑定时任务 7.查看定时任务 8.重启crond 9.编写文件access_lo
-
本文向大家介绍详解Python爬虫的基本写法，包括了详解Python爬虫的基本写法的使用技巧和注意事项，需要的朋友参考一下 什么是爬虫 爬虫，即网络爬虫，大家可以理解为在网络上爬行的一直蜘蛛，互联网就比作一张大网，而爬虫便是在这张网上爬来爬去的蜘蛛咯，如果它遇到资源，那么它就会抓取下来。想抓取什么？这个由你来控制它咯。 比如它在抓取一个网页，在这个网中他发现了一条道路，其实就是指向网页的超链接，那