[系统运维]LVS的运用

前文：本文主要介绍，轮询(Round Robin) ，加权轮询(Weighted Round Robin)? ，最少连接(Least Connections)，? 加权最少连接(Weighted Least Connections)，这4种常用调度算法，及LVS三种方法的NAT，DR这两种模式，以及最后的一个实例

目录

一.LVS的简洁

1.LVS是负载均衡（LB）集群

2. LVS集群组成?

3.LVS术语?

4.LVS工作模式?

5.负载均衡调度算法?

二.ipvsadm的语法格式 .及应用示例

1.语法

2.基本示例

3.部署LVS-NAT集群

4.部署LVS-DR集群

4.手动编写动态检测脚本

一.LVS的简洁

1.LVS是负载均衡（LB）集群

??????? LVS的优点

???????????? - 负载能力强，工作在4层，对内存.CPU消耗第

???????????? - 配置性低，没有太多可配置性，减少人为错误

???????????? - 应用面广，几乎可以为所有应用提供负载均衡

???????? 缺点

????????????? - 不支持正则表达式，不能实现动静分离

????????????? - 如果网站架构庞大，LVS-DR配置比较繁琐

2. LVS集群组成?

????????前端：负载均衡层 由一台或多台负载调度器构成?

????????中间：服务器群组层? 由一组实际运行应用服务的服务器组成?

????????底端：数据共享存储层 提供共享存储空间的存储区域

3.LVS术语?

Director Server： 调度服务器?

????????将负载分发到Real Server的服务器?

RealServer：真实服务器?

????????真正提供应用服务的服务器?

VIP：虚拟IP地址?

????????公布给用户访问的虚拟IP地址?

DIP：调度器连接后端节点服务器的IP地址?

RIP：真实IP地址? 集群节点上使用的IP地址

4.LVS工作模式?

VS/NAT?

????????-通过网络地址转换实现的虚拟服务器?

????????-大并发访问时，调度器的性能成为瓶颈?

VS/DR?

????????-直接使用路由技术实现虚拟服务器?

????????-节点服务器需要配置VIP， 注意MAC地址广播?

VS/TUN?

-通过隧道方式实现虚拟服务器

5.负载均衡调度算法?

LVS目前实现了10种调度算法

1.轮询调度
2.加权轮询调度
3.最小连接调度
4.加权最小连接调度
5.基于局部的最少连接
6.带复制的基于局部性的最少连接
7.目标地址散列调度
8.源地址散列调度U
9.最短的期望的延迟
10.最少队列调度

二.ipvsadm的语法格式 .及应用示例

1.语法

?

L是list查看，n是number数字格式显示

-r:指定

-s后面指定调度算法，如rr（轮询）、wrr（加权轮询）、lc（最少连接）、wlc（加权最少连接）等等

-m指定集群工作模式为NAT模式，

-g则代表使用DR模式

-i代表TUN模式? -w 权重

2.基本示例

1）创建LVS虚拟集群服务器（算法为加权轮询：wrr）

yum -y install ipvsadm
ipvsadm -A -t 192.168.4.5:80 -s wrr #添加虚拟服务器
ipvsadm -Ln  #查看

2）为集群添加若干真实服务

ipvsadm -a -t 192.168.4.5:80 -r 192.168.2.100
#添加真实服务器器并指定调度服务器 
ipvsadm -Ln
#查看
ipvsadm -a -t 192.168.4.5:80 -r 192.168.2.200 -m -w 2
#添加真实服务器器并指定调度服务器并一NAT模式加权为2
ipvsadm -a -t 192.168.4.5:80 -r 192.168.2.201 -m -w 3
#添加真实服务器器并指定调度服务器并一NAT模式加权为3
ipvsadm -a -t 192.168.4.5:80 -r 192.168.2.202 -m -w 4
#添加真实服务器器并指定调度服务器并一NAT模式加权为4

-a:真实服务器
-t:TCP
-r:指定
-m:NAT模式
-w:权重

3）修改集群服务器设置(修改调度器算法，将加权轮询修改为轮询)

ipvsadm -E -t 192.168.4.5:80 -s rr
#-E修改虚拟服务器，-t:TCP -s修改算法 rr论询
ipvsadm -Ln
#查看

4）修改真实服务器

 ipvsadm -e -t 192.168.4.5:80 -r 192.168.2.202 -g
#修改真实服务器将NAT模式改为DR
-g:DR模式

5）查看LVS状态

ipvsadm -Ln

6）删除所有集群服务设置

ipvsadm -D -t 192.168.4.5:80

7）创建另一个集群（算法为最少连接算法；使用-m选项，设置工作模式为NAT模式）

ipvsadm -A -t 192.168.4.5:3306 -s lc
ipvsadm -a -t 192.168.4.5:3306 -r 192.168.2.100 -m
ipvsadm -a -t 192.168.4.5:3306 -r 192.168.2.200 -m

8）永久保存所有规则（非必须的操作）

 ipvsadm-save -n > /etc/sysconfig/ipvsadm

9）清空所有规则

ipvsadm -C

注意：查到规则永久规则需要确保ipvsadm服务为开机启动服务才可以。

3.部署LVS-NAT集群

1）设置Web服务器

[root@web1 ~]# yum -y install httpd????????#安装软件
[root@web1 ~]# echo "192.168.2.100" > /var/www/html/index.html????#创建网页文件
[root@web1 ~]# firewall-cmd --set-default-zone=trusted????????????#设置防火墙
[root@web1 ~]# setenforce  0
[root@web1 ~]# sed -i  '/SELINUX/s/enforcing/permissive/'  /etc/selinux/config  

[root@web2 ~]# yum -y install httpd????????#安装软件
[root@web2 ~]# echo "192.168.2.200" > /var/www/html/index.html????#创建网页文件
[root@web2 ~]# firewall-cmd --set-default-zone=trusted????????????#设置防火墙
[root@web2 ~]# setenforce  0
[root@web2 ~]# sed -i  '/SELINUX/s/enforcing/permissive/'  /etc/selinux/config

2）启动Web服务器软件

[root@web1 ~]# systemctl restart httpd
[root@web2 ~]# systemctl restart httpd

没有域名服务的服务要长时间开启是没有域名，系统要找，所以慢在服务器上改配置 /etc/httpd/conf/httpd.conf? #找ServerName开头的行去掉注释行有域名

完成后可以使用proxy主机测试下是否可以访问web1和web2
?

[root@proxy ~]# curl http://192.168.2.100 
[root@proxy ~]# curl http://192.168.2.200

3）配置网关，将web1和web2的网关设置为调度器ip，如：192.168.2.5（不能照抄网卡名称）

 nmcli connection modify eth1 ipv4.method manual ipv4.gateway 192.168.2.5
 nmcli connection up eth1
 ip route show????????        #查看默认网关
[root@web2 ~]# nmcli connection modify eth1 ipv4.method manual ipv4.gateway 192.168.2.5
#备注:网卡名称不能照抄,需要自己查看下的网卡名称
[root@web2 ~]# nmcli connection up eth1
[root@web2 ~]# ip route show????????#查看默认网关，default后面的IP就是默认网关

实验拓扑

LVS采用的是路由器的NAT通讯原理！通讯流程如下：
1)客户端发送请求数据包(src:4.10,dst:4.5)
2)数据包被发送给LVS调度器，调度器做NAT地址转换（外网转内网，内网转外网）
    a)数据包被修改为src:4.10,dst:2.100(dst也有可能被修改为2.200，随机的）
    b)LVS调度器把数据包转发给后端真正的web服务器（2.100）
3)web1收到数据包开始回应数据（rsc:2.100，dst:4.10）
    备注：谁访问就给谁回复数据，因为src是4.10，所以应该给4.10回应数据！
    但是，自己是2.100，对方是4.10，跨网段默认无法通讯，如何解决？？？
    Web1和web2都需要设置默认网关（也就是192.168.2.5）
4)web1想发送数据给4.10但是又无法与其通讯，所以数据包被交给默认网关
5)LVS调度器（软路由）收到后端web发送过来的数据后，再次做NAT地址转换
    a)数据包被修改为src:4.5,dst:4.10
    b)LVS调度器把数据包转发给客户端主机
6)客户端接收网页数据内容
注意：客户端访问的是4.5，最后是4.5给客户端回复的网页数据！！！！

4)确认调度器的路由转发功能(如果已经开启，可以忽略)\

(1)临时?

???????? echo 1 > /proc/sys/net/ipv4/ip_forward???? #开启路由转发，临时有效

?????????cat /proc/sys/net/ipv4/ip_forward????????? #查看效果

?(2)修改配置文件，设置永久规则

????????echo "net.ipv4.ip_forward = 1" >> /etc/sysctl.conf

5）创建集群服务器

yum -y install ipvsadm
ipvsadm -A -t 192.168.4.5:80 -s wrr

6）添加真实服务器

[root@proxy ~]# ipvsadm -a -t 192.168.4.5:80 -r 192.168.2.100 -w 1 -m
[root@proxy ~]# ipvsadm -a -t 192.168.4.5:80 -r 192.168.2.200 -w 1 -m

?7）查看规则列表（L是list查看，n是number数字格式显示）

 ipvsadm -Ln

8)设置防火墙，SELinux

[root@proxy ~]# firewall-cmd --set-default-zone=trusted
[root@proxy ~]# setenforce  0
[root@proxy ~]# sed -i  '/SELINUX/s/enforcing/permissive/'  /etc/selinux/config

LVS NAT实验请求数据包从LVS调度器进，web的相应数据包也从LVS调度器出，那么LVS调度器就需要承载所有数据的压力，会成为整个集群的瓶颈！！

4.部署LVS-DR集群

1）网络中的基本原则是A访问B，必须是B返回数据给A，现在4.10访问4.5，最终4.100给4.10返回网页数据，所有数据包都会被丢弃！！！那怎么办呢？地址欺骗！

注意：为了防止冲突，VIP必须要配置在网卡的虚拟接口

?2）设置Proxy服务器的VIP和DIP

[root@proxy ~]# cd /etc/sysconfig/network-scripts/(网卡配置文件)
[root@proxy ~]# cp ifcfg-eth0  ifcfg-eth0:0(选择与客户端相同的网卡名位置)
[root@proxy ~]# vim ifcfg-eth0:0
#网卡类型为：以太网卡
TYPE=Ethernet
#none手动配置IP，或者dhcp自动配置IP
BOOTPROTO=none
#网卡名称
NAME=eth0:0
#设备名称
DEVICE=eth0:0
#开机时是否自动激活该网卡
ONBOOT=yes
#IP地址
IPADDR=192.168.4.15
#子网掩码
PREFIX=24
[root@proxy ~]# systemctl restart network????#重启网络服务(远程的时候会断一瞬间)
[root@proxy ~]# ip  a  s             #会看到一个网卡下面有两个IP地址

常见问题：RHEL7和Centos7系统中有两个管理网络的服务，有可能冲突？

解决方法：关闭NetworkManager服务后重启network即可

systemctl stop NetworkManager
systemctl restart network

3）设置服务器网络参数

[root@web1 ~]# nmcli connection modify eth0 ipv4.method manual \
ipv4.addresses 192.168.4.100/24 connection.autoconnect yes
[root@web1 ~]# nmcli connection up eth0

接下来给web1配置VIP地址。

注意：这里的子网掩码必须是32（也就是全255），网络地址与IP地址一样，广播地址与IP地址也一样。Lo是本地回环

如果没有lo则查装包：先查 yum provides "*ifcfg-lo*"

[root@web1 ~]# cd /etc/sysconfig/network-scripts/
[root@web1 ~]# cp ifcfg-lo  ifcfg-lo:0
[root@web1 ~]# vim ifcfg-lo:0
#设备名称
DEVICE=lo:0
#IP地址
IPADDR=192.168.4.15
#子网掩码
NETMASK=255.255.255.255(主机性ip)
#网络地址
NETWORK=192.168.4.15
#广播地址
BROADCAST=192.168.4.15
#开机是否激活本网卡
ONBOOT=yes
#网卡名称
NAME=lo:0

防止地址冲突的问题：

????????这里因为web1也配置与调度器一样的VIP地址，默认肯定会出现地址冲突；

????????sysctl.conf文件写入这下面四行的主要目的就是访问192.168.4.15的数据包，只有调度器会响应，其他主机都不做任何响应，这样防止地址冲突的问题

root@web1 ~]# vim /etc/sysctl.conf
#文件末尾手动写入如下4行内容,防止地址冲突（如果不加的话，arp广播会应答使其冲突）
net.ipv4.conf.all.arp_ignore = 1（0不忽略，应答；1忽略）
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2（0，对外宣告，1.通常不告诉别人，2.绝对不告诉别人）
net.ipv4.conf.all.arp_announce = 2
#当有arp广播问谁是192.168.4.15时，本机忽略该ARP广播，不做任何回应（防止进站冲突）
#本机不要向外宣告自己的lo回环地址是192.168.4.15（防止出站冲突）
[root@web1 ~]# sysctl -p #        (先刷新)在重启网络服务
[root@web1 ~]# systemctl restart network????????#重启网络服务
[root@web1 ~]# ip  a   s           #会看到一个网卡下面有两个IP地址

常见错误：如果重启网络后未正确配置lo:0，有可能是NetworkManager和network服务有冲突，关闭NetworkManager后重启network即可

[root@web1 ~]# systemctl stop NetworkManager
[root@web1 ~]# systemctl restart network

注：如果有多台的话配置如上

4）查看规则列表（L代表list查看规则，n代表number数字格式显示）

 ipvsadm -Ln

5）客户端测试

客户端使用curl命令反复连接http://192.168.4.15（此ip为调度服务器ip）

4.手动编写动态检测脚本

[root@proxy ~]# vim check.sh
#!/bin/bash
VIP=192.168.4.15:80
RIP1=192.168.4.100
RIP2=192.168.4.200
while :
do
   for IP in $RIP1 $RIP2
   do
????       curl -s http://$IP &>/dev/null
if [ $? -eq 0 ];then
            ipvsadm -Ln |grep -q $IP || ipvsadm -a -t $VIP -r $IP
        else
             ipvsadm -Ln |grep -q $IP && ipvsadm -d -t $VIP -r $IP
        fi
   done
sleep 1
done