百度云爬虫-爬取百度云/百度网盘所有的分享文件

燕翔飞
2023-12-01

baiduyun-spider

百度云爬虫-爬取百度云/百度网盘所有的分享文件

运行环境

  • MySQL
  • Python 2.7
  • Mysql-python

操作

创建数据库

创建名为pan的数据库,编码设为utf-8。然后导入sql/pan.sql,完成表的创建。

设置连接数据库的账号密码

打开 bin/spider.py ,修改 DB_HOSTDB_PORTDB_USERDB_PASS

运行爬虫

如果你是第一次部署,需运行下面命令,完成做种

python bin/spider.py --seed-user

上面其实就是抓取百度云热门分享用户的相关信息,然后从他们开始入手爬取数据

然后运行

python bin/spider.py

此时爬虫已经开始工作了。 数据库中就能看到对应的信息了。

https://github.com/x-spiders/baiduyun-spider

 类似资料: