[系统运维]LVS负载均衡群集（集群）

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

前言

一、集群介绍

当没有做负载均衡的时候，nginx服务器将动态请求代理到Tmocat上，但是每个Tomcat的请求次数是有限的，如果超过请求的次数，那么Tomcat服务器就会出现崩溃，造成雪崩的情况。

1、集群的含义

Clister，集群、群集

由多台主机构成，但对外值表现为一个整体，只提供一个访问入口（域名与ip地址）；相当于一台大型计算机。

2、为什么需要使用群集

互联网应用中，随着站点对硬件性能、相应速度、服务器稳定性，数据可靠性要求越来越高，单台服务器已经无法满足负载均衡及高可用的要求。

集群解决的方法

使用价格昂贵的小型机、大型机。?
使用多台相对廉价的普通服务器构建服务群集。?
?通过整合多台服务器，使用LVS来达到服务器高可用和负载均衡，并于同一个IP地址对外提供相同服务。?
?这就是企业中常用的一种群集技术——LVS（Linux Virtual Server ，Linux虚拟服务器）

二、集群类型

（一）、根据集群针对的目标差异，可分为三种

负载均衡群集（LB）
高可用群集（HA）
高性能群集

1、负载均衡群集（Load Balance Cluster）----简称：LB

①提高应用系统的响应能力，尽可能处理更多的访问请求，减少延时为目标，获得高并发、高负载（LB）的整体性能。
②LB的负载分配依赖于主节点的分流算法。
以nginx和2个tomcat组合为例：当第一批客户端访问nginx动态时，使用负载均衡，将客户访问页面请求平均分发到两个tomcat上，过了一段时间有第二批客户来访，此时第一批某些客户访问结束，但是两个tomcat所剩的连接数不一定是一样的，那么此时第二批客户的请求分发时，就不能再使用第一次以轮询的方式分发，而是根据后台tomcat连接数进行分发。

2、高可用群集（High Availability Cluster）----简称：HA

①提高应用系统的可靠性、尽可能的减少终端时间为目标，确保服务的连续性，达到高可用（HA）的容错效果。

②HA的工作方式包括双工和主从两种模式

3、高性能运算群集（High Performance Computer Cluster）

①提高应用系统的CPU运算速度，苦战硬件资源和分析能力为目标，获得相当于大型、超级计算机的高性能运算（HPC）能力
②高性能依赖于“分布式运算”、“并行计算”，通过专用硬件和软件将多个服务器的CPU、内存等资源整合在一起，实现只有大型、超级计算机才具备的计算能力。

三、负载均衡群集架构

1、负载均衡的结构

第一层：负载调度器（Load Balancer 或 Director）

第二层：服务器池（Server Pool）

第三层：共享存储（Share Storage）

1.1、负载调度器(Load Balancer或Director)

访问整个群集系统的唯一入口， 对外使用所有服务器共有的VIP地址，也称为群集IP地址。通常会配置主、备两台调度器实现热备份，当主调度器失效以后能够平滑替换至备用调度器，确保高可用性。

1.2、服务器池(Server Pool)

群集所提供的应用服务、由服务器池承担，其中每个节点具有独立的RIP地址(真实IP)，只处理调度器分发过来的客户机请求。当某个节点暂时失效时，负载调度器的容错机制会将其隔离，等待错误排除以后再重新纳入服务器池。

1.3、共享存储(Share Storage)

为服务器池中的所有节点提供稳定、一致的文件存取服务， 确保整个群集的统一性共享存储可以使用NAS设备,或者提供NFS共享服务的专用服务器。

四、负载均衡集群工作模式分析

负载均衡群集是目前企业用的最多的群集类型
群集的负载调度技术有三种工作模式
地址转换： NAT地址映射
IP隧道： 隧道模式叠加网络
直接路由 ： DR

（一）、NAT模式（地址转换）

1、NetworkAddress Translation ，简称NAT模式

2、类似于防火墙的私有网络结构，负载调度器作为所有服务器节点的网关，即作为客户机的访问 入口 ，也是各节点回应客户机的访问 出口 。

3、服务器节点使用私有IP地址，与负载调度器位于同一个物理网络，安全性要优于其它两种方式。

（二）、TUN模式（IP隧道）

1、IP Tunel。简称TUN模式

2、采用开放式的网络结构，负载调度器仅作为客户机的访问 入口 ，各节点通过各自的internet连接直接回应客户机，而不再经过负载的调度器。

3、服务器节点分散在互联网中的不同位置，具有独立的公网IP地址哦，通过专用IP隧道与负载调度器相互通信

（三）、DR模式（直接路由） ☆

1、Direct Routing，简称DR模式

2、采用半开放式的网络结构，与TUN的结构类似，但各节点并不是分散在各地，而是与调度器位于同一物理网络

3、负载调度器与各节点服务器通过本地网络连接，不需要建立专用的IP隧道。

五、LVS虚拟服务器

（一）、Linux Virtual Server

①针对Linux内核开发的负载均衡解决方案
②1998年5月，由我国的章文嵩博士创建
③官方网站: http://www.linuxvirtualserver.org
④LVS 实际上相当于基于IP地址的虚拟化应用， 为基于IP地址和内容请求分发的负载均衡提出了一种高效的解决方法
使用 LVS 可以达到的技术目标是：通过 LVS 达到的负载均衡技术和 Linux 操作系统实现一个高性能高可用的 Linux 服务器集群，具有良好的可靠性、可扩展性和可操作性。从而以低廉的成本实现最优的性能。LVS 是一个实现负载均衡集群的开源软件项目，LVS 架构从逻辑上可分为调度层、Server 集群层和共享存储层。

1、使用场景

工作位置
①单台LVS服务器的话：LVS只做LB负载调度器，那么工作再4层，并且工作再4层的LVS负载均衡能在LVS、Nginx、Apache、Haproxy几个常用的负载均衡器中时最强的，而且在K8S中，默认的负载均衡技术就是LVS。
②如果作为HA高可用的负载均衡，LVS+keepalived，那么工作再4层和7层

（二）、LVS 与 Nginx 功能对比

LVS 比 Nginx 具有更强的抗负载能力，性能高，对内存和 CPU 资源消耗较低；
LVS 工作在网络层，具体流量由操作系统内核进行处理，Nginx 工作在应用层，可针对 HTTP 应用实施一些分流策略；
LVS 安装配置较复杂，网络依赖性大，稳定性高。Nginx 安装配置较简单，网络依赖性小；
LVS 不支持正则匹配处理，无法实现动静分离效果。Nginx 可实现这方面的功能；
LVS 适用的协议范围广。Nginx 仅支持 HTTP、HTTPS、Email 协议，适用范围小；

（三）、软件负载均衡的种类

????

Nginx ：支持 4 层 / 7 层负载均衡，支持 HTTP、HTTPS、E-mail 协议；
LVS ：纯 4 层负载均衡，运行在内核态，性能是软件负载均衡中最高的；
HAproxy ：是 7 层负载均衡软件，支持 7 层规则的设置，性能也不错；

优点：
简单、灵活、便宜（直接在 Linux 操作系统上安装上述所使用的软件负载均衡，部署及维护较简单，
4 层 和 7 层负载均衡可根据业务进行选择也可根据业务特点，比较方便进行扩展及定制功能）

六、LVS的负载调度算法

1、轮询（Round Robin）-----简称：RR

将受到的访问请求按照顺序轮流分配给群集中的各节点（真实服务器），均平等对待每一台服务器，而不管服务器实际的连接数和系统负载。

2、加权轮询（Weighted Round Robin）简称：WRR

根据调度器设置的权重值来分发请求，权重高的节点优先获得任务，分配的请求数越多。
保证性能强的服务器承担更多的访问流量。

3、最小连接（Least Connections）简称：LC

根据真实服务器已建立的连接数进行分配，将收到的访问请求优先分配给连接最小的节点。

4、加权最小连接（Weighted Least Connections）

在服务器节点的性能差异较大时，可以为真实服务器自动调整权重
性能较高的节点将承担更大比例的活动连接负载

???轮询和最小连接的区别

轮询分配时，他不管后台的连接数有多少，它只是按照轮询的方式进行分配。
加权轮询可手动提高服务器的分配的次数。
最小连接分配时，它考虑的时后台连接数的多少，它会先将访问请求分给最小连接的后台服务器。
加权最小连接可以自动将最小连接的数量的服务器补全，变成和其它服务器一样的连接数，再进行分配。

七、LVS的管理工具 ipvsadm、

（一）、介绍ipvsadm

①ipvs(ip virtual server)：LVS 是基于内核态的 netfilter 框架实现的 IPVS功能，工作在内核态。用户配置 VIP 等相关信息并传递到 IPVS 就需要用到 ipvsadm 工具。
②ipvsadm：ipvsadm 是 LVS 用户态的配套工具，可以实现 VIP 和 RS 的增删改查功能，是基于 netlink 或 raw socket 方式与内核 LVS 进行通信的，如果 LVS 类比于 netfilter，那 ipvsadm 就是类似iptables 工具的地位。

（二）、ipvsadm作用

作用：
①主要用于多服务器的负载均衡；
②工作在网络层，可实现高性能，高可用的服务器集群技术；
③廉价，可把许多低性能的服务器组合在一起形成一个超级服务器；
④易用，配置简单，有多种负载均衡的方法；
⑤稳定可靠，即使在集群的服务器中某台服务器无法正常工作，也不影响整体效果；
⑥可扩展性好

（三）、lvs相关术语

（四）、ipvsadm工具的选项

八、LVS群集创建与管理

（一）、实验需求

准备3台centos服务器： 1台作负载调度器（lvs），2台作为web节点服务器,1台window10

负载调度器：内网（ens33）：192.168.116.10 ； 外网 ens37 (vmnet1)：192.168.8.10
Web1节点服务器1： 192.168.116.50
Web2节点服务器2： 192.168.116.60

window10客户端（vmnet1）： 192.168.8.20

（二）、LVS-NAT访问数据流向

LVS调度器作为Web服务器池的网关，
LVS两块网卡，
分别连接内外网，使用轮询（rr）调度算法

九、部署LVS-NAT群集实验

（一）、配置负载调度服务器(LVS) ip

关闭防火墙及核心防护

虚拟机创建vmnet1  192.168.8.0 

1、 配置内网卡ens33 ip 添加外网卡并配置 ens37 ip

2、更改一下web1 和web2的主机名

（二）、安装httpd服务（2台web节点服务器）

1、关闭防火墙，并安装httpd，（这里要吧NGINX服务关闭，因为同样是80端口，防止端口占用）

yum -y install httpd
systemctl start httpd
systemctl enable httpd

1.1、看一下服务和端口有没有开启

1.2、插入访问网页的一个页面

1.3、检查在两个web节点服务器上检查httpd服务是否成功开启

（三）、配置负载调度器LVS（LVS负载均衡器）

1、开启路由转发

vim /etc/sysctl.conf
#设置路由转发
net.ipv4.ip_forward = 1


sysctl -p   #刷新

2、配置SNAT 转发规则——（iptables）

yum -y install iptables 
下载iptables防火墙


iptables -t nat -L 
查看nat表防火墙规则


iptables -t nat -F
清空nat表防火墙规则

iptables -F  
清空防火墙所有规则

iptables -t nat -vnL   
查看配好的防火墙规则

2.1、将内网网段映射成外网网口地址

iptables -t nat -A POSTROUTING -s 192.168.116.0/24 -o ens37 -j SNAT --to-source 192.168.8.10
# 将内网网段映射成外网网口地址

3、加载LVS内核模块

modprobe ip_vs 
#手动加载ip_vs模块

cat /proc/net/ip_vs 
查看ip_vs 版本信息

4、在LVS中 安装ipvsadm管理工具

yum -y install ipvsadm


注意安装的时候有可能会报错 解决方法把LVS中除了ens33网卡都关闭 
如：ifdown ens37     ifup ens37

4.1、ipvsadm工具选项说明

4.2、开启ipvsadm时需要准备环境——启动服务前必须保存负载分配策略，否则将会报错

ipvsadm-save > /etc/sysconfig/ipvsadm
systemctl start ipvsadm.service

5、配置负载分配策略（NAT模式只要在服务器上配置，节点服务器不需要特殊配置）

ipvsadm -C #清除原有策略  #添加虚拟服务器，指定虚拟地址和端口，并指定轮询算法
ipvsadm -A -t 192.168.8.10:80 -s rr
ipvsadm -a -t 192.168.8.10:80 -r 192.168.116.50:80 -m -w 1
ipvsadm -a -t 192.168.8.10:80 -r 192.168.116.60:80 -m -w 1

#添加真实服务器地址，使用NAT群集模式，权重设置为1
选项详解
-A ：添加虚拟服务器
-a : 添加真实服务器（后端节点服务器）
-t : 指定VIP地址及端口
-s : 指定负载调度算法（轮询：rr，加权轮询：wrr，最少连接：lc，加权最少连接：wlc）
-m : 表示使用NAT群集模式
-w : 设置权重（权重为0时，表示暂停节点）

ipvsadm #启动策略
ipvsadm -ln #查看节点状态，Masq代表NAT模式
ipvsadm-save > /etc/sysconfig/ipvsadm #保存策略

（四）、测试：

1、windows设置成vmnet1网段

2、在客户机里ping通lvs负载均衡器和两个Web节点服务器

3、访问192.168.8.10，然后刷新（如果不轮循，记得多刷几次）——ping本机网关及LVS、 web1和2 ip

4、在LVS 上watch -n 1 ipvsadm -ln——刷新时活跃数为0 时才能再次刷新（ActinveConn）

5、模拟web2 节点故障，查看访问

ipvsadm -d -t 192.168.8.10:80 -r 192.168.116.60:80   #删除群集中某一个节点服务器
ipvsadm -D -t 192.168.8.10:80    #删除整个虚拟服务器

syatemctl stop ipvsadm   #停止服务（清除策略）
systemctl start ipvsadm  #启动服务（重建规则）

ipvsadm-restore > /etc/sysconfig/ipvsadm   #恢复LVS策略