nginx-upsync-module 提供了动态的负载均衡, 动态更新上游的服务器不需要 reload nginx , 它的功能是拉取 consul 的后端 server 的列表, 并更新Nginx 的路由信息。
此模块不依赖于任何第三方模块。
consul 作为 Nginx 的 db, 利用 consul 的 KV 服务, 每个 Nginx work 进程独立的去拉取各个upstream 的配置, 并更新各自的路由。
nginx -s reload 是平滑重启, 不会强制结束正在工作的连接, 需要等所有连接都结束才会重启。 想象一个场景上线繁忙, 想要多添加几台服务器处理更多的流量
改配置文件并重新启动 Nginx 可能并不总是很方便。 例如, 当遇到大流量和高负载, 重启 Nginx 并在此时重新加载配置会进一步增加系统负载, 并可能暂时降低性能
nginx安装第三方模块的半自动平滑升级
下载到/root/download/
wget https://github.com/weibocom/nginx-upsync-module/archive/v2.1.1.tar.gz
tar zxvf v2.1.1.tar.gz 生成了目录 nginx-upsync-module-2.1.1
cd /root/download/openresty-1.15.8.2
./configure --add-module=/root/download/nginx-upsync-module-2.1.1
make
cd /usr/local/openresty/nginx/sbin
mv nginx nginx.old
cp /root/download/openresty-1.15.8.2/build/nginx-1.15.8/objs/nginx /usr/local/openresty/nginx/sbin/
执行:./nginx -t
nginx: the configuration file /home/app/openresty/nginx/conf/nginx.conf syntax is ok
nginx: configuration file /home/app/openresty/nginx/conf/nginx.conf test is successful
测试成功
启动新的进程,关掉旧的
让nginx把nginx.pid改成nginx.pid.oldbin 跟着启动新的nginx
# kill -USR2 `cat /home/app/openresty/nginx/nginx.pid`
退出旧的nignx
# kill -QUIT `cat /home/app/openresty/nginx/nginx.pid.oldbin`
#升级完成
consul
wget https://releases.hashicorp.com/consul/1.6.2/consul_1.6.2_linux_amd64.zip
unzip consul_1.6.2_linux_amd64.zip
mv consul /usr/local/bin/
运行
consul agent -server -bootstrap-expect 1 -data-dir /tmp/consul -node=ali -bind=172.17.0.10 -ui -client=0.0.0.0
参数说明
参数含义:
agent
-server表示启动的是一个服务
-bootstrap-expect 1 表示等待多少个节点再启动,这里1个,就是自己一个就启动了
-node=texun_1 就是给consul服务起个别名为ali_1
-bind=172.17.114.76 绑定内网ip
-data-dir /opt/data1 数据存储目录为/opt/data1
-ui 启动默认ui界面
-client consul绑定在哪个client地址上,这个地址提供HTTP、DNS、RPC等服务,默认是127.0.0.1,可指定允许客户端使用什么ip去访问
命令
curl -X PUT -d '{}' http://127.0.0.1:8500/v1/kv/upstreams/backend/127.0.0.1:9502
curl -X PUT -d '{"weight":1,"max_fails":2,"fail_timeout":10}' http://127.0.0.1:8500/v1/kv/upstreams/backend/127.0.0.1:9502
查看所有已经存储的k/v
curl http://127.0.0.1:8500/v1/kv/?recurse
删除 curl -X DELETE http://127.0.0.1:8500/
只需要修改 upstream backend
upstream backend {
upsync 127.0.0.1:8500/v1/kv/upstreams/backend upsync_timeout=6m upsync_interval=500ms upsync_type=consul
strong_dependency=off;
upsync_dump_path /usr/local/openresty/nginx/conf/servers_test.conf; #生成配置文件
include /usr/local/openresty/nginx/conf/servers_test.conf; #包含生成的配置文件
# server 127.0.0.1:9501;
#server 127.0.0.1:9501 weight=50;
#server 127.0.0.1:9502 weight=30;
}
重启nginx后,就可以使用下面的命令动态增删service
新增
curl -X PUT -d '{"weight":1,"max_fails":2,"fail_timeout":10}' http://127.0.0.1:8500/v1/kv/upstreams/backend/127.0.0.1:9502
删除
curl -X DELETE http://127.0.0.1:8500/v1/kv/upstreams/backend/127.0.0.1:9502
查看所有已经存储的k/v
curl http://127.0.0.1:8500/v1/kv/?recurse
注意事项:
1.servers_test.conf必须存在
2.upstream backend必须至少包含一个services