个人博客 尽管HAProxy非常稳定,但仍然无法规避操作系统故障、主机硬件故障、网络故障甚至断电带来的风险。所以必须对HAProxy实施高可用方案。
Keekpalived工作原理:通过vrrp协议(虚拟路由冗余协议)实现。
下文将介绍利用Keepalived实现HAProxy的热备方案。即三台主机上的三个HAProxy实例同时在线,其中权重较高的实例为MASTER,MASTER出现问题时,另外两台备份的会选出一台自动接管所有流量。
1、安装说明 安装环境:6台Linux机,系统为CentOS 7.7,不完全适用于云服务器(会有些问题,比如不支持虚拟ip对外访问需要提交申请)。 Haproxy版本:1.8.25 Keepalived版本:1.4.5
ip 作用 172.16.122.100 Keepalived虚拟出来的ip 172.16.122.101 部署Haproxy实例1,代理真实服务器1、2、3,主机 172.16.122.102 部署Haproxy实例2,代理真实服务器1、2、3,备用机1 172.16.122.103 部署Haproxy实例3,代理真实服务器1、2、3,备用机2 172.16.122.104 真实服务器1,已经部署应用,并对外暴露http端口10900 172.16.122.105 真实服务器2,已经部署应用,并对外暴露http端口10900 172.16.122.106 真实服务器3,已经部署应用,并对外暴露http端口10900
Haproxy的安装与配置可以参考下面的链接。Haproxy的安装与配置
本文主要介绍Keepalived的安装和使用,对于Keepalived的安装是采用离线安装包的方式,其手动编译过程一般不会太顺利,依赖也比较多,对环境要求比较高。而且Keepalived不同版本之间的依赖还有差异。本人亲自实践,如果是CentOS 7.x系统,Keepalived版本是1.x系列,那基本问题不大,安装方式大同小异,可以参考本文。
2、安装Keepalived 2.1、下载 下载地址:https://www.keepalived.org/download.html 选择一个版本进行下载,这里我用的是keepalived-1.4.5版本。
2.2、安装 将下载的安装包上传至服务器,直接使用root用户进行安装。
1 2 3 tar -xvf keepalived-1.4.5.tar.gz cd keepalived-1.4.5 ./configure --prefix=/usr/local/keepalived
可能会出现以下几种情况的报错:
configure: error: !!! OpenSSL is not properly installed on your system. !!! !!! Can not include OpenSSL headers files. !!!
执行yum -y install openssl-devel解决。
*** WARNING - this build will not support IPVS with IPv6. Please install libnl/libnl-3 dev libraries to support IPv6 with IPVS.
执行yum -y install libnl libnl-devel解决。
configure: error: libnfnetlink headers missing
执行yum install -y libnfnetlink-devel解决。
再次执行./configure --prefix=/usr/local/keepalived,直到check全部通过。
最后进行编译
编译完成后,在路径/usr/local/下可以看到已经安装好keepalived了。
2.3、注册为系统服务 1 2 3 4 5 6 7 8 cp /usr/local/keepalived/sbin/keepalived /usr/sbin/ # 以下拷贝的原路径要替换成实际安装包解压后的路径 cp /root/keepalived-1.4.5/keepalived/etc/sysconfig/keepalived /etc/sysconfig/ cp /root/keepalived-1.4.5/keepalived/etc/init.d/keepalived /etc/init.d/ # 赋予可执行权限 chmod +x /etc/init.d/keepalived # 重启系统服务 systemctl daemon-reload
注册为系统服务后可以很方便地启停Keepalived。 比如:
1 2 # 启动|停止|重启|状态查看 service keepalived start|stop|restart|status
或者
1 2 # 启动|停止|重启|状态查看 systemctl start|stop|restart|status keepalived
开机自动运行
1 systemctl enable keepalived
关闭开机自动运行
1 systemctl disable keepalived
至此,主机安装已经完成,另外两台备用机也是一样的步骤进行安装;接下来就是配置了。
3、配置Keepalived 这里只贴出keepaliaved抢占式配置,非抢占式没有主备之分,全部都为BACKUP,并且配置文件中添加nopreempt,用来标识为非抢占式。
3.1、创建配置文件 Keepalived默认读取配置的路径为/etc/keepalived/keepalived.conf
1 2 mkdir /etc/keepalived/ vi /etc/keepalived/keepalived.conf
3.2、添加配置内容 主机配置
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 global_defs { router_id haproxy1 # 虚拟路由名称 } # HAProxy健康检查配置 vrrp_script chk_haproxy { script "killall -0 haproxy" # 使用killall -0 检查haproxy实例是否存在,性能高于ps命令 interval 2 # 脚本运行周期,秒 } # 虚拟路由配置 vrrp_instance VI_1 { state MASTER # 本机实例状态,MASTER/BACKUP,备机配置文件中请写BACKUP interface ens33 # 本机网卡名称,使用ifconfig命令查看 virtual_router_id 51 # 虚拟路由编号,主备机保持一致 priority 101 # 本机初始权重,备机请填写小于主机的值(例如99 ) advert_int 1 # 争抢虚地址的周期,秒 authentication { auth_type PASS auth_pass 4 gjfethTonUY7kXU # 认证类型和密码主备一样,要不然无法互相认证 } virtual_ipaddress { 172.16 .122 .100 # 虚地址IP,主备机保持一致 } track_script { chk_haproxy # 对应的健康检查配置 } }
这里检测脚本使用了killall命令,如果系统没有这个命令可以通过yum install psmisc安装获得。
Keepalived会定时执行检测脚本,如果检测都通过,则会选一台权重最大的作为VIP(虚拟ip)的获得者,通过这个虚拟ip就可以访问到这台机器。
如果持有VIP机器的haproxy进程挂了,检测脚本不通过,VIP则会漂移到另一台机器,也是根据权重进行重新分配。
如果持有VIP的机器本身挂了,另外2台备用机发现和主机这个节点的通讯异常了,则也会根据权重使其中一台获取到VIP进行流量接管;但是如果各个主备节点之间通信线路出了问题,无法接收到彼此的组播通知,但是每个节点实际都处于正常工作状态,这时多个节点均为master强行绑定虚拟ip,导致不可预料的后果,这就是脑裂。一般发生这种情况就需要人工干预了,排查防火墙、通信线路等问题。
备用机1配置
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 global_defs { router_id haproxy2 # 虚拟路由名称 } # HAProxy健康检查配置 vrrp_script chk_haproxy { script "killall -0 haproxy" # 使用killall -0 检查haproxy实例是否存在,性能高于ps命令 interval 2 # 脚本运行周期,秒 } # 虚拟路由配置 vrrp_instance VI_1 { state BACKUP # 本机实例状态,MASTER/BACKUP,备机配置文件中请写BACKUP interface ens33 # 本机网卡名称,使用ifconfig命令查看 virtual_router_id 51 # 虚拟路由编号,主备机保持一致 priority 100 # 本机初始权重,备机请填写小于主机的值(例如99 ) advert_int 1 # 争抢虚地址的周期,秒 authentication { auth_type PASS auth_pass 4 gjfethTonUY7kXU # 认证类型和密码主备一样,要不然无法互相认证 } virtual_ipaddress { 172.16 .122 .100 # 虚地址IP,主备机保持一致 } track_script { chk_haproxy # 对应的健康检查配置 } }
备用机2配置
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 global_defs { router_id haproxy3 # 虚拟路由名称 } # HAProxy健康检查配置 vrrp_script chk_haproxy { script "killall -0 haproxy" # 使用killall -0 检查haproxy实例是否存在,性能高于ps命令 interval 2 # 脚本运行周期,秒 } # 虚拟路由配置 vrrp_instance VI_1 { state BACKUP # 本机实例状态,MASTER/BACKUP,备机配置文件中请写BACKUP interface ens33 # 本机网卡名称,使用ifconfig命令查看 virtual_router_id 51 # 虚拟路由编号,主备机保持一致 priority 99 # 本机初始权重,备机请填写小于主机的值(例如99 ) advert_int 1 # 争抢虚地址的周期,秒 authentication { auth_type PASS auth_pass 4 gjfethTonUY7kXU # 认证类型和密码主备一样,要不然无法互相认证 } virtual_ipaddress { 172.16 .122 .100 # 虚地址IP,主备机保持一致 } track_script { chk_haproxy # 对应的健康检查配置 } }
4、启动Keepalived 每台机器执行以下命令启动Keepalived
1 service keepalived start
通过命令查看主机是否持有虚拟ip
1 ip addr sh ens33 # ens33是具体网卡名称,可以通过ifconfig查看
客户端通过虚拟ip172.16.122.100访问主机上的haproxy端口,能访问成功说明虚拟ip已经生效,此时访问172.16.122.100和访问172.16.122.101效果是一样的。
杀死主机的haproxy进程,如果VIP发生漂移,查看备用机持有VIP就说明主备配置已经生效了。客户端还是能通过172.16.122.100这个虚拟ip进行服务访问,这就是高可用。
Keepalived具体的日志可以通过/var/log/messages查看。
5、脚本检测扩展 脚本检测并非一定要使用killall这个命令,可以自定义一个shell脚本去检测,这样可以更加灵活地处理。
比如在检测到haproxy这个进程不存在时,执行启动haproxy的命令,如果启动失败再切换VIP,而不是检测失败就直接切换VIP。
创建脚本vi /etc/keepalived/chk_haproxy.sh
1 2 3 4 5 6 7 8 9 # !/bin/bash A=`ps -C haproxy --no-header |wc -l` if [ $A -eq 0 ];then su - haproxy -c "/usr/local/haproxy/sbin/haproxy -f /usr/local/haproxy/conf/haproxy.cfg" sleep 10 if [ `ps -C haproxy --no-header |wc -l` -eq 0 ];then /etc/init.d/keepalived stop fi fi
更改健康检查配置
1 2 3 4 5 # HAProxy健康检查配置 vrrp_script chk_haproxy { script "/etc/keepalived/chk_haproxy.sh" # 执行自定义脚本 interval 2 # 脚本运行周期,秒 }
6、Keepalived问题 启动后查看网卡ip,发现每台都是VIP,防火墙需要开通vrrp协议 查看状态,提示无效密码,怀疑是收到局域网内别的服务器上的vrrp包 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 ● keepalived.service - LVS and VRRP High Availability Monitor Loaded: loaded (/usr/lib/systemd/system/keepalived.service; enabled; vendor preset: disabled) Active: active (running) since Wed 2026-05-27 17:39:29 CST; 44s ago Process: 21100 ExecStart=/usr/local/keepalived/sbin/keepalived $KEEPALIVED_OPTIONS (code=exited, status=0/SUCCESS) Main PID: 21101 (keepalived) CGroup: /system.slice/keepalived.service ├─21101 /usr/local/keepalived/sbin/keepalived -D ├─21102 /usr/local/keepalived/sbin/keepalived -D └─21103 /usr/local/keepalived/sbin/keepalived -D May 27 17:40:10 ng-2 Keepalived_vrrp[21103]: VRRP_Instance(VI_1) ignoring received advertisment... May 27 17:40:11 ng-2 Keepalived_vrrp[21103]: (VI_1): received an invalid passwd! May 27 17:40:11 ng-2 Keepalived_vrrp[21103]: bogus VRRP packet received on ens192 !!! May 27 17:40:11 ng-2 Keepalived_vrrp[21103]: VRRP_Instance(VI_1) ignoring received advertisment... May 27 17:40:12 ng-2 Keepalived_vrrp[21103]: (VI_1): received an invalid passwd! May 27 17:40:12 ng-2 Keepalived_vrrp[21103]: bogus VRRP packet received on ens192 !!! May 27 17:40:12 ng-2 Keepalived_vrrp[21103]: VRRP_Instance(VI_1) ignoring received advertisment... May 27 17:40:13 ng-2 Keepalived_vrrp[21103]: (VI_1): received an invalid passwd! May 27 17:40:13 ng-2 Keepalived_vrrp[21103]: bogus VRRP packet received on ens192 !!! May 27 17:40:13 ng-2 Keepalived_vrrp[21103]: VRRP_Instance(VI_1) ignoring received advertisment...
解决方案 1 2 sudo firewall-cmd --permanent --add-rich-rule='rule family="ipv4" source address="192.168.1.83" protocol value="vrrp" accept' firewall-cmd --reload
防火墙开通vrrp协议,并且指定来源服务器
参考链接