部署k8s ssl集群实践6:配置高可用kube-apiserver组件ha+keepalived
参考文档:
https://github.com/opsnull/follow-me-install-kubernetes-cluster
感谢作者的无私分享。
集群环境已搭建成功跑起来。
文章是部署过程中遇到的错误和详细操作步骤记录。如有需要对比参考，请按照顺序阅读和测试。
kubernetes master 节点运行如下组件：
kube-apiserver
kube-scheduler
kube-controller-manager
kube-scheduler 和 kube-controller-manager 可以以集群模式运行，通过 leader 选举产
生一个工作进程，其它进程处于阻塞模式。
对于 kube-apiserver，可以运行多个实例（本文档是 3 实例），但对其它组件需要提供统一的访问地址，该地址需要高可用。本文档使用 keepalived 和 haproxy 实现 kubeapiserver
VIP 高可用和负载均衡。
集群模式和ha+keepalived的主要区别是什么呢？
ha+keepalived配置vip，实现了api唯一的访问地址和负载均衡。
集群模式没有配置vip。
6.1
配置高可用组件
keepalived 提供 kube-apiserver 对外服务的 VIP；
haproxy 监听 VIP，后端连接所有 kube-apiserver 实例，提供健康检查和负载均衡
功能；
运行 keepalived 和 haproxy 的节点称为 LB 节点。由于 keepalived 是一主多备运行模
式，故至少两个 LB 节点。
本文档复用 master 节点的三台机器，haproxy 监听的端口(8443) 需要与 kube-apiserver
的端口 6443 不同，避免冲突。
keepalived 在运行过程中周期检查本机的 haproxy 进程状态，如果检测到 haproxy 进程
异常，则触发重新选主的过程，VIP 将飘移到新选出来的主节点，从而实现 VIP 的高可
用。
所有组件（如 kubeclt、apiserver、controller-manager、scheduler 等）都通过 VIP 和
haproxy 监听的 8443 端口访问 kube-apiserver 服务。
安装软件包（三节点都安装)
yum -y install keepalived haproxy
配置haproxy.cfg
[root@k8s-master haproxy]# cat haproxy.cfg |grep -v ^#
global
log 127.0.0.1 local2
chroot /var/lib/haproxy
pidfile /var/run/haproxy.pid
maxconn 4000
user haproxy
group haproxy
daemon
stats socket /var/lib/haproxy/stats
defaults
mode tcp
log global
timeout connect 10s
timeout client 1m
timeout server 1m
timeout check 10s
maxconn 3000
frontend kube-api
bind 0.0.0.0:8443
mode tcp
log global
default_backend kube-master
backend kube-master
balance source
server k8s-master 192.168.1.92:6443 check inter 2000 fall 2
server k8s-node1 192.168.1.93:6443 check inter 2000 fall 2
server k8s-node2 192.168.1.95:6443 check inter 2000 fall 2
listen stats
mode http
bind 0.0.0.0:1080
stats enable
stats hide-version
stats uri /haproxyadmin?stats
stats realm Haproxy\ Statistics
stats auth admin:admin
stats admin if TRUE
[root@k8s-master haproxy]#拷贝到其他节点
[root@k8s-master haproxy]# scp haproxy.cfg root@k8s-node1:/etc/haproxy/
haproxy.cfg 100% 1300 1.7MB/s 00:00
[root@k8s-master haproxy]# scp haproxy.cfg root@k8s-node2:/etc/haproxy/
haproxy.cfg 100% 1300 1.7MB/s 00:00
[root@k8s-master haproxy]#haproxy 在 1080 端口输出 status 信息；
haproxy 监听所有接口的 8443 端口，该端口与环境变量 ${KUBE_APISERVER} 指
定的端口必须一致；
server 字段列出所有 kube-apiserver 监听的 IP 和端口；
启动haproxy
[root@k8s-master haproxy]# systemctl status haproxy -l
● haproxy.service - HAProxy Load Balancer
Loaded: loaded (/usr/lib/systemd/system/haproxy.service; disabled; vendor preset: disabled)
Active: active (running) since 二 2018-08-21 17:15:40 CST; 2min 19s ago
Main PID: 7709 (haproxy-systemd)
Tasks: 3
Memory: 1.7M
CGroup: /system.slice/haproxy.service
├─7709 /usr/sbin/haproxy-systemd-wrapper -f /etc/haproxy/haproxy.cfg -p /run/haproxy.pid
├─7710 /usr/sbin/haproxy -f /etc/haproxy/haproxy.cfg -p /run/haproxy.pid -Ds
└─7711 /usr/sbin/haproxy -f /etc/haproxy/haproxy.cfg -p /run/haproxy.pid -Ds
8月 21 17:15:40 k8s-master systemd[1]: Started HAProxy Load Balancer.
8月 21 17:15:40 k8s-master systemd[1]: Starting HAProxy Load Balancer...
8月 21 17:15:40 k8s-master haproxy-systemd-wrapper[7709]: haproxy-systemd-wrapper: executing /usr/sbin/haproxy -f /etc/haproxy/haproxy.cfg -p /run/haproxy.pid -Ds
[root@k8s-master haproxy]#看看端口启动了吗
[root@k8s-master haproxy]# netstat -tnlp
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name
tcp 0 0 192.168.1.92:2379 0.0.0.0:* LISTEN 2229/etcd
tcp 0 0 127.0.0.1:2379 0.0.0.0:* LISTEN 2229/etcd
tcp 0 0 192.168.1.92:2380 0.0.0.0:* LISTEN 2229/etcd
tcp 0 0 0.0.0.0:111 0.0.0.0:* LISTEN 749/rpcbind
tcp 0 0 0.0.0.0:22 0.0.0.0:* LISTEN 1034/sshd
tcp 0 0 0.0.0.0:1080 0.0.0.0:* LISTEN 7711/haproxy
tcp 0 0 127.0.0.1:25 0.0.0.0:* LISTEN 1238/master
tcp 0 0 0.0.0.0:8443 0.0.0.0:* LISTEN 7711/haproxy
tcp6 0 0 :::111 :::* LISTEN 749/rpcbind
tcp6 0 0 :::22 :::* LISTEN 1034/sshd
tcp6 0 0 ::1:25 :::* LISTEN 1238/master
[root@k8s-master haproxy]#6.2
配置keepalived
keepalived 是一主（master）多备（backup）运行模式，故有两种类型的配置文件。
master 配置文件只有一份，backup 配置文件视节点数目而定，对于本文档而言，规划
如下：
master: 192.168.1.92
backup：192.168.1.93,192.168.1.95master 配置文件：
[root@k8s-master keepalived]# cat keepalived.conf
global_defs {
router_id NodeA
}
vrrp_script chk_haproxy {
script "/etc/keepalived/check_haproxy.sh"
interval 5
weight 2
}
vrrp_instance VI_1 {
state MASTER #设置为主服务器
interface ens192 #监测网络接口
virtual_router_id 51 #主、备必须一样
priority 100 #(主、备机取不同的优先级，主机值较大，备份机值较小,值越大优先级越高)
advert_int 1 #VRRP Multicast广播周期秒数
authentication {
auth_type PASS #VRRP认证方式，主备必须一致
auth_pass 1111 #(密码)
}
virtual_ipaddress {
192.168.1.94/24 #VRRP HA虚拟地址
}
track_script {
chk_haproxy
}
}
[root@k8s-master keepalived]#
backup配置文件
[root@k8s-node1 keepalived]# cat keepalived.conf
global_defs {
router_id NodeA
}
vrrp_script chk_haproxy {
script "/etc/keepalived/check_haproxy.sh"
interval 5
weight 2
}vrrp_instance VI_1 {
state BACKUP #设置为主服务器
interface ens192 #监测网络接口
virtual_router_id 51 #主、备必须一样
priority 90 #(主、备机取不同的优先级，主机值较大，备份机值较小,值越大优先级越高)
advert_int 1 #VRRP Multicast广播周期秒数
authentication {
auth_type PASS #VRRP认证方式，主备必须一致
auth_pass 1111 #(密码)
}
virtual_ipaddress {
192.168.1.94/24 #VRRP HA虚拟地址
}
track_script {
chk_haproxy
}
}
[root@k8s-node1 keepalived]#
[root@k8s-node2 keepalived]# cat keepalived.conf
global_defs {
router_id NodeA
}
vrrp_script chk_haproxy {
script "/etc/keepalived/check_haproxy.sh"
interval 5
weight 2
}vrrp_instance VI_1 {
state BACKUP #设置为主服务器
interface ens192 #监测网络接口
virtual_router_id 51 #主、备必须一样
priority 80 #(主、备机取不同的优先级，主机值较大，备份机值较小,值越大优先级越高)
advert_int 1 #VRRP Multicast广播周期秒数
authentication {
auth_type PASS #VRRP认证方式，主备必须一致
auth_pass 1111 #(密码)
}
virtual_ipaddress {
192.168.1.94/24 #VRRP HA虚拟地址
}
track_script {
chk_haproxy
}
}
[root@k8s-node2 keepalived]#脚本文件
[root@k8s-master keepalived]# pwd ##注意脚本存放的路径必须和keepalived配置的路径相同
/etc/keepalived
[root@k8s-master keepalived]# cat check_haproxy.sh
#!/bin/bash
A=`ps -C haproxy --no-header |wc -l`
if [ $A -eq 0 ];then
systemctl start haproxy.service
fi
sleep 3
if [ `ps -C haproxy --no-header |wc -l` -eq 0 ];then
pkill keepalived
fi
[root@k8s-master keepalived]#keepalived测试成功
6.3
遇到的问题:
脚本不执行。
原因:
##千万注意，track_script这组参数必须写在vip后面，不然脚本不会执行
转载于:https://blog.51cto.com/goome/2164829