获取免费代理池-使用Python3WebSpider / ProxyPool

1、克隆代码到本地（注意这个项目是基于python3的）

https://github.com/Python3WebSpider/ProxyPool.git

git clone https://github.com/Python3WebSpider/ProxyPool.git

2、cd到项目目录，安装依赖

pip3 install -r requirements.txt

3、启动redis,可以是远程的，可以是本地的

如果有密码需要在setting.py里设置

# redis host
REDIS_HOST = env.str('REDIS_HOST', '127.0.0.1')
# redis port
REDIS_PORT = env.int('REDIS_PORT', 6379)
# redis password, if no password, set it to None
REDIS_PASSWORD = env.str('REDIS_PASSWORD', None)
# redis db, if no choice, set it to 0
REDIS_DB = env.int('REDIS_DB', 0)

4、执行run.py就可以啦

5、访问http://localhost:5555/random就可以随机拿到一个可以访问的代理IP了

所有的代理IP均存在redis中，可以访问'proxies:universal'获取所有，具体的key由REDIS_KEY决定

REDIS_KEY = env.str('REDIS_KEY', 'proxies:universal')