当前位置: 首页 > 工具软件 > proxy_pool > 使用案例 >

proxy_pool开源项目攻克学习2:服务器架设

赫连俊悟
2023-12-01

proxy_pool开源项目攻克学习2:服务器架设

在这个文章proxy_pool开源项目攻克学习中,我们完成了本地的proxy_pool架设。现在我们将他转移到服务器上。

硬件环境准备

  1. 腾讯centos服务器。

软件环境准备

  1. redis
  2. python3.7
  3. proxy_pool开源项目

安装过程

总结安装Proxy_pool的顺序过程
  • 准备环境
    python环境
    redis服务器

  • 下载安装开源代码

  • 安装开源代码的依赖

  • 配置setting

  • 启动proxy_pool

step1. 准备环境

redis安装在centos上使用

yum install redis 

安装完成后,配置路径在

/etc/redis.conf

python安装参考linux环境下安装多个任意版本的python环境

step2. 安装proxy_pool开源代码

网址
https://github.com/jhao104/proxy_pool

git clone https://github.com/jhao104/proxy_pool.git
cd proxy_pool
pip3 install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple/
# 这里一定要升级一下flask,否则后续一定会报错
pip3 install Flask==2.0 -i https://pypi.tuna.tsinghua.edu.cn/simple/

step3. 配置redis

配置

vim /etc/redis.conf

# 找到requirepass 去掉注释,设置密码
requirepass 123456
# 找到daemonize 去掉注释,改为yes,设置守护线程
daemonize yes

在Linux上,如果开了redis的守护进程,kill -9和redis-cli shutdown 命令是无法杀掉 redis 进程的 ,杀掉就会重新启动一个新的进程

最后在网上找到这个命令,可以杀掉redis的守护线程:
/etc/init.d/redis-server stop
启动和验证

# 若命令直接返回,说明守护线程已经开启
redis-server /etc/redis.conf

#测试, 返回PONG说明启动成功
redis-cli

127.0.0.1:6379 > auth 123456
127.0.0.1:6379 > ping
PONG

step4. 配置setting.py

HOST 不用改,PORT也可以不用改,这是你flask打开的默认地址,

数据库需要改一下,pwd改成你刚才设置的"123456"或者你自己设置的值。

端口改成6379。因为我们没有改redis-server的地址。

其他的不用动。然后再启动python脚本。

# setting.py 为项目配置文件

# 配置API服务

HOST = "0.0.0.0"               # IP
PORT = 5000                    # 监听端口


# 配置数据库

DB_CONN = 'redis://:pwd@127.0.0.1:8888/0'


# 配置 ProxyFetcher

PROXY_FETCHER = [
    "freeProxy01",      # 这里是启用的代理抓取方法名,所有fetch方法位于fetcher/proxyFetcher.py
    "freeProxy02",
    # ....
]

step5. 后台启动python脚本

nohup python -u proxyPool.py schedule > schedule.log 2>&1 &
nohup python -u proxyPool.py server > server.log 2>&1 &

ps -ef | grep python

这样以后就可以关闭终端,而保持进程在运行了。

step6. 问题与解决

python安装问题请参考linux环境下安装多个任意版本的python环境
开源项目问题或redis问题请参考proxy_pool开源项目攻克学习

 类似资料: