[系统运维] 教你掌握 LVS + Keepalived 高可用群集

Keepalived 是一个基于VRRP协议来实现的LVS服务高可用方案，可以利用其来避免单点故障。一个LVS服务会有2台服务器运行Keepalived，一台为主服务器（MASTER），一台为备份服务器（BACKUP），但是对外表现为一个虚拟IP，主服务器会发送特定的消息给备份服务器，当备份服务器收不到这个消息的时候，即主服务器宕机的时候，备份服务器就会接管虚拟IP，继续提供服务，从而保证了高可用性。

keepalived 软件

Keepalived软件起初是专为LVS负载均衡软件设计的，用来管理并监控LVS集群系统中各个服务节点的状态，后来又加入了可以实现高可用的VRRP功能。因此，Keepalived除了能够管理LVS软件外，还可以作为其他服务（例如：Nginx、Haproxy、MySQL等）的高可用解决方案软件。

注：Linux服务器集群系统–LVS Linux虚拟服务器（LinuxVirtual Server）

一提到高可用就想到keepalive，Keepalived软件主要是通过VRRP协议实现高可用功能的。VRRP是Virtual Router RedundancyProtocol(虚拟路由器冗余协议）的缩写，VRRP出现的目的就是为了解决静态路由单点故障问题的，它能够保证当个别节点宕机时，整个网络可以不间断地运行。

Keepalive基础

vrrp技术

VRRP?相关术语

虚拟路由器：Virtual Router
虚拟路由器标识：VRID(0-255)，唯一标识虚拟路由器
VIP：Virtual IP
VMAC：Virutal MAC (00-00-5e-00-01-VRID)
物理路由器：
master：主设备
backup：备用设备
priority：优先级

VRRP相关技术

通告：心跳，优先级等；周期性

工作方式：抢占式，非抢占式，延迟抢占模式，

安全认证：

无认证
简单字符认证：预共享密钥
MD5

工作模式：

主/备：单虚拟路径器
主/主：主/备（虚拟路由器1），备/主（虚拟路由器2）

#通告：
是宣告自己的主权，不要妄想抢班夺权，不停的向外

#抢占式：
主服务器宕机，过了一段时间修好了，再把主权抢过来

#非抢占式：
主服务器宕机，过了一段时间修好了，原来的主就作为备了

#抢占式好还是非抢占式好？

#安全认证：
如没有安全认证，不在集群中的keeplive服务器设置超高的优先级，会造成事故

#主/主：主/备（虚拟路由器1），备/主（虚拟路由器2）见下图：
环境：
有两台服务器
虚拟出两台虚拟路由器
第一台虚拟路由器中服务器1为主，服务器2为备，那么虚拟IP1就飘在服务器1上，真正工作的只有服务器1
第二台虚拟路由器中服务器2为主，服务器1为备，那么虚拟IP2就飘在服务器2上，真正工作的只有服务器2
优点：
#提高了资源利用率：
这样主，备服务器同时干活，可以同时运行两个项目
#同样有备份功能：
如果服务器1坏了，服务器2 将同时拥有虚拟IP1和虚拟IP2


缺点：
虽然有备份冗余功能但是对机器的性能要求非常高，当其中一台出现故障，本来一台运行一个任务，现在所有的业务全部压在了一台上，有十分大的风险

keepalived介绍

官网：http://keepalived.org/

功能：

基于vrrp协议完成地址流动
为vip地址所在的节点生成ipvs规则(在配置文件中预先定义)
为ipvs集群的各RS做健康状态检测
基于脚本调用接口完成脚本中定义的功能，进而影响集群事务，以此支持nginx、haproxy等服务

Keepalived 架构

官方文档：

https://keepalived.org/doc/
http://keepalived.org/documentation.html

用户空间核心组件：

vrrp stack：VIP消息通告
checkers：监测real server（简单来说就是监控后端真实服务器的服务）
system call：实现 vrrp 协议状态转换时调用脚本的功能
SMTP：邮件组件（报警邮件）
IPVS wrapper：生成IPVS规则（直接生成ipvsadm）
Netlink Reflector：网络接口（将虚拟地址ip（vip）地址飘动）

WatchDog：监控进程（整个架构是否有问题）

控制组件：提供keepalived.conf 的解析器，完成Keepalived配置
IO复用器：针对网络目的而优化的自己的线程抽象
内存管理组件：为某些通用的内存管理功能（例如分配，重新分配，发布等）提供访问权限

keeplive可以配合ngnix等软件，反向代理

Keepalived 相关文件

软件包名：keepalived
主程序文件：/usr/sbin/keepalived
主配置文件：/etc/keepalived/keepalived.conf
配置文件示例：/usr/share/doc/keepalived/
Unit File：/lib/systemd/system/keepalived.service
Unit File的环境配置文件：
/etc/sysconfig/keepalived CentOS

配置组成

/etc/keepalived/keepalived.conf 配置组成

GLOBAL CONFIGURATION

Global definitions（全局配置）：定义邮件配置，route_id，vrrp配置，多播地址等

VRRP CONFIGURATION

VRRP instance(s)：定义vrrp协议中的每个vrrp虚拟路由器的规则，基本信息

LVS CONFIGURATION（lvs调度服务器的规则设置）

Virtual server group(s)

Virtual server(s)：LVS集群的VS和RS

单播多播地址

修改多播

#两边都要加主从

global_defs {
   notification_email {
     acassen@firewall.loc
     failover@firewall.loc
     sysadmin@firewall.loc
   }
   notification_email_from Alexandre.Cassen@firewall.loc
   smtp_server 127.0.0.1
   smtp_connect_timeout 30
   router_id LVS_R1
   vrrp_mcast_group4 234.6.6.6
   #添加此行
}
[root@localhost ~]# tcpdump -i ens33 -nn host 234.6.6.6
#抓包查看查看
[root@localhost keepalived]#systemctl stop keepalived.service
#模拟故障，可以正常切换

修改单播

#在所有节点vrrp_instance语句块中设置对方主机的IP，建议设置为专用于对应心跳线网络的地址，而非
使用业务网络
unicast_src_ip <IPADDR>  #指定发送单播的源IP
unicast_peer {
   <IPADDR>     #指定接收单播的对方目标主机IP
   ......
}

#主服务器
vrrp_instance VI_1 {
   state BACKUP
   interface eth0
   virtual_router_id 66
   priority 100
   advert_int 1
   authentication {
       auth_type PASS
       auth_pass 123456
   }
   virtual_ipaddress {
        10.0.0.10/24 dev eth0 label eth0:1
   }
   unicast_src_ip 192.168.91.100     #本机IP
   unicast_peer{
   192.168.91.101 #指向对方主机IP 如果有多个keepalived,再下面加其它节点的IP
   }
}
#复制段
unicast_src_ip 192.168.91.100     
   unicast_peer{
   192.168.91.101
 }

unicast_src_ip 192.168.91.101     
   unicast_peer{
   192.168.91.100
   192.168.91.188
   
 }
 
[root@localhost ~]#tcpdump -i ens33 host -nn 192.168.91.100
#在从节点抓包验证

通知脚本

[root@localhost opt]#vim /etc/mail.rc 
set from=2830505752@qq.com
set smtp=smtp.qq.com
set smtp-auth-user=2830505752@qq.com
set smtp-auth-password=
[root@localhost opt]#vim keepalive.sh 
#!/bin/bash
#
contact='940132245@qq.com'
notify() {
 mailsubject="$(hostname) to be $1, vip floating"
 mailbody="$(date +'%F %T'): vrrp transition, $(hostname) changed to be $1"
 echo "$mailbody" | mail -s "$mailsubject" $contact
}
case $1 in
master)
 notify master
 ;;
backup)
 notify backup
 ;;
fault)
 notify fault
 ;;
*)
 echo "Usage: $(basename $0) {master|backup|fault}"
 exit 1
 ;;
esac

[root@localhost opt]#vim /etc/keepalived/keepalived.conf
vrrp_instance VI_1 {
    state BACKUP
    interface ens33
    virtual_router_id 51
    priority 100
    preempt_delay 30
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.91.16
    }
   notify_master "/opt/keepalive.sh master"
   notify_backup "/opt/keepalive.sh backup"
   notify_fault "/opt/keepalive.sh fault"
}
#模拟master故障
[root@ka1-centos7 ~]#killall keepalived

日志功能

开启单独日志功能

[root@localhost opt]#keepalived --help
#查看帮助
[root@localhost opt]#ps aux |grep keep
root      25326  0.0  0.0 118616  1372 ?        Ss   11月20   0:00 /usr/sbin/keepalived -D
root      25327  0.0  0.1 127480  3336 ?        S    11月20   0:01 /usr/sbin/keepalived -D
root      25328  0.0  0.1 129500  2852 ?        S    11月20   0:01 /usr/sbin/keepalived -D
root      26877  0.0  0.0 112676   980 pts/0    S+   00:37   0:00 grep --color=auto keep
[root@localhost opt]#vim /lib/systemd/system/keepalived.service 
EnvironmentFile=-/etc/sysconfig/keepalived
ExecStart=/usr/sbin/keepalived $KEEPALIVED_OPTIONS
[root@localhost opt]#vim /etc/sysconfig/keepalived
KEEPALIVED_OPTIONS="-D -S 6"

[root@localhost opt]#vim /etc/rsyslog.conf 
# Save boot messages also to boot.log
local7.*                                                /var/log/boot.log
local6.*                                                /var/log/keepalived.log

[root@localhost opt]#systemctl restart keepalived.service rsyslog.service

LVS+Keepalived 高可用群集的搭建

主DR 服务器：192.168.241.128
备DR 服务器：192.168.241.129
Web 服务器1：192.168.241.133
Web 服务器2：192.168.241.136

配置负载调度器（主：192.168.241.129）
?

配置Keepalived master服务器?

1. #关闭防火墙
systemctl stop firewalld.service
setenforce 0
?
2. #安装服务
yum -y install ipvsadm keepalive

3. #修改配置文件keeplived.conf
cd /etc/keepalived/
cp keepalived.conf keepalived.conf.bak
vim keepalived.conf
?
......
global_defs {?? ??? ??? ??? ??? ??? ?#定义全局参数
--10行--修改，邮件服务指向本地
?? ?smtp_server 127.0.0.1
--12行--修改，指定服务器（路由器）的名称，主备服务器名称须不同，主为LVS_01，备为LVS_02
?? ?router_id LVS_01
}
?
vrrp_instance VI_1 {?? ??? ??? ??? ?#定义VRRP热备实例参数
--20行--修改，指定热备状态，主为MASTER，备为BACKUP
? ? state MASTER
--21行--修改，指定承载vip地址的物理接口
? ? interface ens33
--22行--修改，指定虚拟路由器的ID号，每个热备组保持一致?? ?
? ? virtual_router_id 10
--23行--修改，指定优先级，数值越大优先级越高，主为100，备为99
? ? priority 100
? ? advert_int 1?? ??? ??? ??? ??? ?#通告间隔秒数(心跳频率)
? ? authentication {?? ??? ??? ??? ?#定义认证信息,每个热备组保持一致
?? ??? ?auth_type PASS?? ??? ??? ??? ?#认证类型
--27行--修改，指定验证密码，主备服务器保持一致
? ? ? ? auth_pass 123123
? ? }
? ? virtual_ipaddress {?? ??? ??? ??? ?#指定群集vip地址
? ? ? ? 192.168.241.188
? ? }
}

--36行--修改，指定虚拟服务器地址(VIP)、端口，定义虚拟服务器和Web服务器池参数
virtual_server 192.168.241.188 80 {
? ? delay_loop 6?? ??? ??? ??? ??? ?#健康检查的间隔时间(秒)
? ? lb_algo rr?? ??? ??? ??? ??? ??? ?#指定调度算法，轮询(rr)
--39行--修改，指定群集工作模式，直接路由(DR)
? ? lb_kind DR
? ? persistence_timeout 50?? ??? ??? ?#连接保持时间(秒)
? ? protocol TCP?? ??? ??? ??? ??? ?#应用服务采用的是 TCP协议
--43行--修改，指定第一个Web节点的地址、端口
? ? real_server 192.168.241.133 80 {
? ? ? ? weight 1?? ??? ??? ??? ??? ?#节点的权重
--45行--删除，添加以下健康检查方式?? ??? ?
? ? ? ? TCP_CHECK {
?? ??? ??? ?connect_port 80?? ??? ??? ?#添加检查的目标端口
?? ??? ??? ?connect_timeout 3?? ??? ?#添加连接超时(秒)
?? ??? ??? ?nb_get_retry 3?? ??? ??? ?#添加重试次数
?? ??? ??? ?delay_before_retry 3?? ?#添加重试间隔
?? ??? ?}
?? ?}
?
?? ?real_server 192.168.241.136 80 {?? ??? ?#添加第二个 Web节点的地址、端口
? ? ? ? weight 1
? ? ? ? TCP_CHECK {
?? ??? ??? ?connect_port 80
?? ??? ??? ?connect_timeout 3
?? ??? ??? ?nb_get_retry 3
?? ??? ??? ?delay_before_retry 3
?? ??? ?}
?? ?}
}
##删除后面的所有配置

4. #启动服务、查看虚拟网卡vip
systemctl start keepalived
ip addr show dev ens33?? ?

5. #调整proce响应参数，关闭Linux内核的重定向参数响应
vim /etc/sysctl.conf
net.ipv4.ip_forward = 1
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0
?
6. #刷新一下
sysctl -p

?
配置ipvsadm?

7. #配置负载分配策略，并启动服务
ipvsadm-save >/etc/sysconfig/ipvsadm
systemctl start ipvsadm.service
?
8.?
#清空ipvsadm，并做策略
ipvsadm -C
ipvsadm -A -t 192.168.241.188:80 -s rr
ipvsadm -a -t 192.168.241.188:80 -r 192.168.241.133:80 -g
ipvsadm -a -t 192.168.241.188:80 -r 192.168.241.136:80 -g
?
9. #保存设置
ipvsadm
ipvsadm -ln
ipvsadm-save >/etc/sysconfig/ipvsadm

配置负载调度器（备：192.168.241.129）

配置Keepalived master服务器

1. #关闭防火墙
systemctl stop firewalld.service
setenforce 0
 
2. #安装服务
yum -y install ipvsadm keepalived
 
3. #修改配置文件keeplived.conf
cd /etc/keepalived/
cp keepalived.conf keepalived.conf.bak
vim keepalived.conf
 
......
global_defs {						#定义全局参数
--10行--修改，邮件服务指向本地
	smtp_server 127.0.0.1
--12行--修改，指定服务器（路由器）的名称，主备服务器名称须不同，主为LVS_01，备为LVS_02
	router_id LVS_02
}
 
vrrp_instance VI_1 {				#定义VRRP热备实例参数
--20行--修改，指定热备状态，主为MASTER，备为BACKUP
    state BACKUP
--21行--修改，指定承载vip地址的物理接口
    interface ens33
--22行--修改，指定虚拟路由器的ID号，每个热备组保持一致	
    virtual_router_id 10
--23行--修改，指定优先级，数值越大优先级越高，主为100，备为99
    priority 99
    advert_int 1					#通告间隔秒数(心跳频率)
    authentication {				#定义认证信息,每个热备组保持一致
		auth_type PASS				#认证类型
--27行--修改，指定验证密码，主备服务器保持一致
        auth_pass 123123
    }
    virtual_ipaddress {				#指定群集vip地址
        192.168.241.188
    }
}


--36行--修改，指定虚拟服务器地址(VIP)、端口，定义虚拟服务器和Web服务器池参数
virtual_server 192.168.241.188 80 {
    delay_loop 6					#健康检查的间隔时间(秒)
    lb_algo rr						#指定调度算法，轮询(rr)
--39行--修改，指定群集工作模式，直接路由(DR)
    lb_kind DR
    persistence_timeout 50			#连接保持时间(秒)
    protocol TCP					#应用服务采用的是 TCP协议
--43行--修改，指定第一个Web节点的地址、端口
    real_server 192.168.241.133 80 {
        weight 1					#节点的权重
--45行--删除，添加以下健康检查方式		
        TCP_CHECK {
			connect_port 80			#添加检查的目标端口
			connect_timeout 3		#添加连接超时(秒)
			nb_get_retry 3			#添加重试次数
			delay_before_retry 3	#添加重试间隔
		}
	}
 
	real_server 192.168.241.136 80 {		#添加第二个 Web节点的地址、端口
        weight 1
        TCP_CHECK {
			connect_port 80
			connect_timeout 3
			nb_get_retry 3
			delay_before_retry 3
		}
	}
}
##删除后面所有配置

4. #启动服务、查看虚拟网卡vip
systemctl start keepalived
ip addr show dev ens33

5. #调整proce响应参数，关闭Linux内核的重定向参数响应
vim /etc/sysctl.conf
net.ipv4.ip_forward = 1
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0
 
6. #刷新一下
sysctl -p

?配置ipvsadm

7. #配置负载分配策略，并启动服务
ipvsadm-save >/etc/sysconfig/ipvsadm
systemctl start ipvsadm.service
 
8. 
#清空ipvsadm，并做策略
ipvsadm -C
ipvsadm -A -t 192.168.241.188:80 -s rr
ipvsadm -a -t 192.168.241.188:80 -r 192.168.241.133:80 -g
ipvsadm -a -t 192.168.241.188:80 -r 192.168.241.136:80 -g
 
9. #保存设置
ipvsadm
ipvsadm -ln
ipvsadm-save >/etc/sysconfig/ipvsadm

配置节点服务器 web1（192.168.241.133）

1. #关闭防火墙
systemctl stop firewalld
setenforce 0
 
2. #安装并开启httpd服务
yum -y install httpd
systemctl start httpd
 
3. #配置站点文件
vim /var/www/html/index.html
this is wxddhc web!
 
4. #配置虚拟vip
vim /etc/sysconfig/network-scripts/ifcfg-lo:0
DEVICE=lo:0
ONBOOT=yes
IPADDR=192.168.241.188
NETMASK=255.255.255.255
 
5. #重启网络服务，开启虚拟网卡
systemctl restart network
ifup lo:0
ifconfig lo:0

6. #设置路由
route add -host 192.168.241.188 dev lo:0
route -n

7. #调整 proc 响应参数
#添加系统只响应目的IP为本地IP的ARP请求
#系统不使用原地址来设置ARP请求的源地址，而是物理mac地址上的IP
vim /etc/sysctl.conf
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.default.arp_ignore = 1
net.ipv4.conf.default.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
 
8. #刷新proc参数
sysctl -p

?配置节点服务器 web2（192.168.241.136）

1. #关闭防火墙
systemctl stop firewalld
setenforce 0
 
2. #安装并开启httpd服务
yum -y install httpd
systemctl start httpd
 
3. #配置站点文件
vim /var/www/html/index.html
this is wxtnb web!
 
4. #配置虚拟vip
vim /etc/sysconfig/network-scripts/ifcfg-lo:0
DEVICE=lo:0
ONBOOT=yes
IPADDR=192.168.241.188
NETMASK=255.255.255.255
 
5. #重启网络服务，开启虚拟网卡
systemctl restart network
ifup lo:0
ifconfig lo:0

6. #设置路由
route add -host 192.168.241.188 dev lo:0
route -n

7. #调整 proc 响应参数
#添加系统只响应目的IP为本地IP的ARP请求
#系统不使用原地址来设置ARP请求的源地址，而是物理mac地址上的IP
vim /etc/sysctl.conf
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.default.arp_ignore = 1
net.ipv4.conf.default.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
 
8. #刷新proc参数
sysctl -p