集群
通过集群技术,可以在付出较低成本的情况下获得在性能、可靠性、灵活性方面的相对较高的收益,任务调度是集群系统的核心技术。
集群组成后,利用多个交换机和组合进行海量请求处理(负载均衡),从而获得很高的处理效率,也可以用多个计算机做备份(高可用),使得任何一个机器坏了整个系统还是能正常运行。
负载均衡集群技术
- 负载均衡:负载均衡集群为企业需求提供了可解决容量问题的有效方案。负载均衡集群使负载可以在计算机集群中尽可能平均地分摊处理。
- 负载通常包括应用程序处理负载和网络流量负载,每个节点都可以承担一定的处理负载。实现处理负载在节点的动态分配,以实现负载均衡。
技术类型:基于4层的负载均衡技术和基于7层负载均衡技术
实现方式:硬件负载均衡或软件负载均衡
硬件负载均衡产品:F5、Radware、深信服
软件负载均衡产品:LVS、Haproxy、Nginx、Ats
分类
- 二层负载均衡(mac):
- 虚拟mac地址方式,外部对虚拟mac地址的请求,负载均衡接收后分配后端实际的mac地址响应
- 三层负载均衡(ip):
- 虚拟ip地址方式,外部对虚拟的ip地址请求,负载均衡接收后分配后端实际的ip地址响应
- 四层负载均衡(tcp):
- 在三层负载均衡的基础上,用ip+port接收请求,在专项对应的服务器
- 七层负载均衡(http):
- 根据虚拟的url或IP,主机名接受请求,在转向相应的处理服务器
四层负载均衡
F5:硬件负载均衡器,功能很好,成本很高
LVS:重量级的四层负载软件
Nginx:轻量级的四层负载软件,带缓存功能,正则表达式较灵活(?)
Haproxy:模拟四层转发,较灵活
七层负载均衡
在四层的基础上,根据ip+port辨别处理流量和七层的URL,浏览器类别来决定是否进行负载均衡。
Haproxy:全面支持七层代理,会话保持,标记,路径转移
Nginx:只在http协议和mail协议上功能较好,性能和Haproxy差不多
apache:功能较差
Mysql proxy:功能尚可
| 四层负载均衡 | 七层负载均衡 |
---|
基于 | 基于IP+Port | 基于虚拟的url或主机IP等 | 类似于 | 路由器 | 代理服务器 | 复杂度 | 低 | 高 | 性能 | 高,无需解析内容 | 中;需要算法识别url,cookie和http head等消息 | 安全性 | 低 | 高 | 额外功能 | 无 | 会话保持,图片压缩等 |
LVS
Linux Virtual Server的简称,lvs已经是Linux标准内核的一部分,性能较高,通过内核ipvsadm/ipvs实现功能。
优点:
- 高并发连接:基于内核网络层面工作,有超强的承载能力金额并发处理能力。单台LVS负载均衡器,支持上万并发连接。
- 稳定性强:工作在4层上仅作分发之用,对内存和CPU资源消耗极低。
- 成本低廉:硬件负载均衡器少则十几万,多则几十万上百万,LVS只需以太服务器就能免费部署,性价比极高。
- 配置简单:LVS配置简单,几行命令即可完成配置,也可写脚本进行管理。
- 支持多种工作模式:支持多种论调算法,使用不同的工作模式来解决生产环境请求处理问题。
- 应用范围广:工作在4层,几乎可以对所有应用做负载均衡,包括http,数据库,DNS,ftp服务等。
缺点:
工作在4层,不支持7层规则修改,机制过于庞大,不适合小规模应用。
ipvs:工作与内核的程序,可根据用户定义的集群实现请求转发
ipvsadm:用户空间的命令行工具,用于管理集群服务及集群服务上的RS等。
VS:Virtual Server # 虚拟服务
DR:Director Balancer # 负载均衡器,分发器
RS:Real Server # 后端请求处理服务器
CIP:Client IP # 用户端IP
VIP:Director Virtual IP # 负载均衡器虚拟IP
DIP:Director IP # 负载均衡器IP
RIP:Real Server IP # 后端请求处理服务器IP
四种工作模式
LVS/NAT:网络地址转换模式,进出站的数据流量通过流量分发器(IP负载均衡,修改的IP地址)
- 把客户端发来的数据包的IP头的目的地址,在负载均衡器上换成其中一台RA的IP地址,
- 优点:集群中的物理服务器可以使用TCP/IP操作系统,只有负载均衡器需要一个合法的IP地址
- 缺点:扩展性有限,服务器节点增多时,负载均衡器会成为瓶颈
LVA/DR:直接路由模式,只有进站的数据流量经过分发器(数据链路层负载均衡,修改目的mac地址)
- 原理:负载均衡器和RS都使用同一IP对外服务,但只有DR对ARP请求响应,所有RS对本身这个IP的ARP请求保持静默。网关会把对这个服务IP的请求全部定向给DR,而DR收到数据包后根据调度算法,找出对应的RS,把目的MAC改成RS的MAC并将请求分发给这台RS。
- 优点:和TUN一样,负载均衡器只是分发请求,不需要隧道结构,可以使用大多数操作系统做为物理服务器。
- 不足:要求负载均衡器的网卡必须与物理网卡在一个物理段上。
LVS/TUN:隧道模式,只有进站的数据流量经过分发器
- 原理:Internet上请求包短小,应答包很大。把客户端发来的数据包封装一个新的IP头标记(仅目的IP)发给RS,RS收到后,先把数据包的头解开,还原数据包并处理,直接返回给客户端。负载均衡器发来的数据包进行还原,所以必须支持IPtunnel协议。在RS内核中,必须编译支持IPtunnel这个选项。
- 优点:负载均衡器只负责将请求包分发给后端节点服务器,而RS将应答包直接发给客户。
- 缺点:隧道模式的RS节点需要合法IP,这种方式需要所有的服务器支持IPtunnel协议,服务可能只局限在部分的Linux系统上。
LVS/full-nat:双向转换:通过请求报文的源地址为DIP,目标为RIP来实现转发:对于响应报文而言,修改源地址VIP,目的地址为CIP来实现转发。(了解)
区别:
dr:通过封装新的MAC首部实现,通过mac网络转发
tun:通过原IP报文外封装新IP头实现转发,支持远距离通信。
|