个人博客

尽管HAProxy非常稳定，但仍然无法规避操作系统故障、主机硬件故障、网络故障甚至断电带来的风险。所以必须对HAProxy实施高可用方案。

Keekpalived工作原理：通过vrrp协议（虚拟路由冗余协议）实现。

下文将介绍利用Keepalived实现HAProxy的热备方案。即三台主机上的三个HAProxy实例同时在线，其中权重较高的实例为MASTER，MASTER出现问题时，另外两台备份的会选出一台自动接管所有流量。

1、安装说明

安装环境：6台Linux机，系统为CentOS 7.7，不完全适用于云服务器（会有些问题，比如不支持虚拟ip对外访问需要提交申请）。
Haproxy版本：1.8.25
Keepalived版本：1.4.5

ip作用
172.16.122.100Keepalived虚拟出来的ip
172.16.122.101部署Haproxy实例1，代理真实服务器1、2、3，主机
172.16.122.102部署Haproxy实例2，代理真实服务器1、2、3，备用机1
172.16.122.103部署Haproxy实例3，代理真实服务器1、2、3，备用机2
172.16.122.104真实服务器1，已经部署应用，并对外暴露http端口10900
172.16.122.105真实服务器2，已经部署应用，并对外暴露http端口10900
172.16.122.106真实服务器3，已经部署应用，并对外暴露http端口10900

Haproxy的安装与配置可以参考下面的链接。
Haproxy的安装与配置

本文主要介绍Keepalived的安装和使用，对于Keepalived的安装是采用离线安装包的方式，其手动编译过程一般不会太顺利，依赖也比较多，对环境要求比较高。而且Keepalived不同版本之间的依赖还有差异。本人亲自实践，如果是CentOS 7.x系统，Keepalived版本是1.x系列，那基本问题不大，安装方式大同小异，可以参考本文。

2、安装Keepalived

2.1、下载

下载地址：https://www.keepalived.org/download.html
选择一个版本进行下载，这里我用的是keepalived-1.4.5版本。

2.2、安装

将下载的安装包上传至服务器，直接使用root用户进行安装。

1
2
3
tar -xvf keepalived-1.4.5.tar.gz
cd keepalived-1.4.5
./configure --prefix=/usr/local/keepalived

可能会出现以下几种情况的报错：

configure: error:
!!! OpenSSL is not properly installed on your system. !!!
!!! Can not include OpenSSL headers files. !!!

执行yum -y install openssl-devel解决。

*** WARNING - this build will not support IPVS with IPv6. Please install libnl/libnl-3 dev libraries to support IPv6 with IPVS.

执行yum -y install libnl libnl-devel解决。

configure: error: libnfnetlink headers missing

执行yum install -y libnfnetlink-devel解决。

再次执行./configure --prefix=/usr/local/keepalived，直到check全部通过。

最后进行编译

1
make && make install

编译完成后，在路径/usr/local/下可以看到已经安装好keepalived了。

2.3、注册为系统服务

1
2
3
4
5
6
7
8
cp /usr/local/keepalived/sbin/keepalived /usr/sbin/
# 以下拷贝的原路径要替换成实际安装包解压后的路径
cp /root/keepalived-1.4.5/keepalived/etc/sysconfig/keepalived /etc/sysconfig/
cp /root/keepalived-1.4.5/keepalived/etc/init.d/keepalived /etc/init.d/
# 赋予可执行权限
chmod +x /etc/init.d/keepalived
# 重启系统服务
systemctl daemon-reload

注册为系统服务后可以很方便地启停Keepalived。
比如：

1
2
# 启动|停止|重启|状态查看
service keepalived start|stop|restart|status

或者

1
2
# 启动|停止|重启|状态查看
systemctl start|stop|restart|status keepalived

开机自动运行

1
systemctl enable keepalived

关闭开机自动运行

1
systemctl disable keepalived

至此，主机安装已经完成，另外两台备用机也是一样的步骤进行安装；接下来就是配置了。

3、配置Keepalived

这里只贴出keepaliaved抢占式配置，非抢占式没有主备之分，全部都为BACKUP，并且配置文件中添加nopreempt，用来标识为非抢占式。

3.1、创建配置文件

Keepalived默认读取配置的路径为/etc/keepalived/keepalived.conf

1
2
mkdir /etc/keepalived/
vi /etc/keepalived/keepalived.conf

3.2、添加配置内容

主机配置

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
global_defs {
    router_id haproxy1                  # 虚拟路由名称
}

# HAProxy健康检查配置
vrrp_script chk_haproxy {
    script "killall -0 haproxy"         # 使用killall -0检查haproxy实例是否存在，性能高于ps命令
    interval 2                          # 脚本运行周期，秒
}

# 虚拟路由配置
vrrp_instance VI_1 {
    state MASTER                        # 本机实例状态，MASTER/BACKUP，备机配置文件中请写BACKUP
    interface ens33                     # 本机网卡名称，使用ifconfig命令查看
    virtual_router_id 51                # 虚拟路由编号，主备机保持一致
    priority 101                        # 本机初始权重，备机请填写小于主机的值（例如99）
    advert_int 1                        # 争抢虚地址的周期，秒
    authentication {
        auth_type PASS
        auth_pass 4gjfethTonUY7kXU      # 认证类型和密码主备一样，要不然无法互相认证
    }
    virtual_ipaddress {
        172.16.122.100                  # 虚地址IP，主备机保持一致
    }
    track_script {
        chk_haproxy                     # 对应的健康检查配置
    }
}

这里检测脚本使用了killall命令，如果系统没有这个命令可以通过yum install psmisc安装获得。

Keepalived会定时执行检测脚本，如果检测都通过，则会选一台权重最大的作为VIP(虚拟ip)的获得者，通过这个虚拟ip就可以访问到这台机器。

如果持有VIP机器的haproxy进程挂了，检测脚本不通过，VIP则会漂移到另一台机器，也是根据权重进行重新分配。

如果持有VIP的机器本身挂了，另外2台备用机发现和主机这个节点的通讯异常了，则也会根据权重使其中一台获取到VIP进行流量接管；但是如果各个主备节点之间通信线路出了问题，无法接收到彼此的组播通知，但是每个节点实际都处于正常工作状态，这时多个节点均为master强行绑定虚拟ip，导致不可预料的后果，这就是脑裂。一般发生这种情况就需要人工干预了，排查防火墙、通信线路等问题。

备用机1配置

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
global_defs {
    router_id haproxy2                  # 虚拟路由名称
}

# HAProxy健康检查配置
vrrp_script chk_haproxy {
    script "killall -0 haproxy"         # 使用killall -0检查haproxy实例是否存在，性能高于ps命令
    interval 2                          # 脚本运行周期，秒
}

# 虚拟路由配置
vrrp_instance VI_1 {
    state BACKUP                        # 本机实例状态，MASTER/BACKUP，备机配置文件中请写BACKUP
    interface ens33                     # 本机网卡名称，使用ifconfig命令查看
    virtual_router_id 51                # 虚拟路由编号，主备机保持一致
    priority 100                        # 本机初始权重，备机请填写小于主机的值（例如99）
    advert_int 1                        # 争抢虚地址的周期，秒
    authentication {
        auth_type PASS
        auth_pass 4gjfethTonUY7kXU      # 认证类型和密码主备一样，要不然无法互相认证
    }
    virtual_ipaddress {
        172.16.122.100                  # 虚地址IP，主备机保持一致
    }
    track_script {
        chk_haproxy                     # 对应的健康检查配置
    }
}

备用机2配置

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
global_defs {
    router_id haproxy3                  # 虚拟路由名称
}

# HAProxy健康检查配置
vrrp_script chk_haproxy {
    script "killall -0 haproxy"         # 使用killall -0检查haproxy实例是否存在，性能高于ps命令
    interval 2                          # 脚本运行周期，秒
}

# 虚拟路由配置
vrrp_instance VI_1 {
    state BACKUP                        # 本机实例状态，MASTER/BACKUP，备机配置文件中请写BACKUP
    interface ens33                     # 本机网卡名称，使用ifconfig命令查看
    virtual_router_id 51                # 虚拟路由编号，主备机保持一致
    priority 99                         # 本机初始权重，备机请填写小于主机的值（例如99）
    advert_int 1                        # 争抢虚地址的周期，秒
    authentication {
        auth_type PASS
        auth_pass 4gjfethTonUY7kXU      # 认证类型和密码主备一样，要不然无法互相认证
    }
    virtual_ipaddress {
        172.16.122.100                  # 虚地址IP，主备机保持一致
    }
    track_script {
        chk_haproxy                     # 对应的健康检查配置
    }
}

4、启动Keepalived

每台机器执行以下命令启动Keepalived

1
service keepalived start

通过命令查看主机是否持有虚拟ip

1
ip addr sh ens33 # ens33是具体网卡名称，可以通过ifconfig查看

VIP
客户端通过虚拟ip172.16.122.100访问主机上的haproxy端口，能访问成功说明虚拟ip已经生效，此时访问172.16.122.100和访问172.16.122.101效果是一样的。

杀死主机的haproxy进程，如果VIP发生漂移，查看备用机持有VIP就说明主备配置已经生效了。客户端还是能通过172.16.122.100这个虚拟ip进行服务访问，这就是高可用。

Keepalived具体的日志可以通过/var/log/messages查看。

5、脚本检测扩展

脚本检测并非一定要使用killall这个命令，可以自定义一个shell脚本去检测，这样可以更加灵活地处理。

比如在检测到haproxy这个进程不存在时，执行启动haproxy的命令，如果启动失败再切换VIP，而不是检测失败就直接切换VIP。

创建脚本vi /etc/keepalived/chk_haproxy.sh

1
2
3
4
5
6
7
8
9
#!/bin/bash
A=`ps -C haproxy --no-header |wc -l`
if [ $A -eq 0 ];then
   su - haproxy -c "/usr/local/haproxy/sbin/haproxy -f /usr/local/haproxy/conf/haproxy.cfg"
   sleep 10
   if [ `ps -C haproxy --no-header |wc -l` -eq 0 ];then
       /etc/init.d/keepalived stop
   fi
fi

更改健康检查配置

1
2
3
4
5
# HAProxy健康检查配置
vrrp_script chk_haproxy {
    script "/etc/keepalived/chk_haproxy.sh"     # 执行自定义脚本
    interval 2                                  # 脚本运行周期，秒
}

参考链接