[系统运维]Nginx之负载均衡模块 ngx_http_upstream_module

一、Nginx负载均衡

为什么要使用负载均衡?

当Web服务器直接面向用户，往往要承载大量并发请求，单台服务器难以负荷，那么就需要使用多台Web服务器组成集群，前端使用Nginx负载均衡，将请求分散的打到后端服务器集群中，实现负载的分发。那么会大大提升系统的吞吐率、请求性能、高容灾。

为什么要使用集群?

高性能（Performance）
价格有效性（Cost-effectiveness）
可伸缩性（Scalability）
高可用性（Availability）
可管理性（Manageability）

集群的分类

1. 负载均衡集群（Load Balancing clusters），简称LBC或者LB。
2. 高可用性集群（High-availability（HA）clusters），简称HAC。
3. 高性能计算集群（High-performance（HP）clusters），简称HPC。
4. 网格计算（Grid computing）集群。

负载均衡集群的作用：

• 分担用户访问请求及数据流量（负载均衡）。
• 保持业务连续性，即7×24小时服务（高可用性）。
• 应用于Web业务及数据库从库等服务器的业务。
• 负载均衡集群典型的开源软件包括LVS、Nginx、Haproxy等。

负载均衡可以分为硬件负载均衡和软件负载均衡，前者一般是专用的软件和硬件相结合的设施，设施商会提供完整成熟的处理方案，通常也会更加昂贵。软件的复杂均衡以Nginx占据绝大多数。

常用的集群软硬件介绍及选型

企业运维中常见的集群软硬件产品互联网企业常用的开源集群软件有：Nginx、LVS、Haproxy、Keepalived、Heartbeat。
互联网企业常用的商业集群硬件有：F5、Netscaler、Rad-ware、A10等，工作模式相当于Haproxy的工作模式。

负载均衡叫法：调度、负载均衡、 负载、 Load Balance、 LB（SLB 阿里云负载均衡、QLB 青云负载均衡、CLB 腾讯云负载均衡、ULB ucloud负载均衡）、

负载均衡原理

客户端向反向代理发送请求，接着反向代理根据某种负载机制转发请求至目标服务器(这些服务器都运行着相同的应用)，并把获得的内容返回给客户端，期中，代理请求可能根据配置被发往不同的目标服务器。

往往我们接触的最多的是SLB(Server Load Balance)负载均衡，实现最多的也是SLB、那么SLB它的调度节点和服务节点通常是在一个地域里面（即调度节点和后端服务节点在一个局域网内）。那么它在这个小的逻辑地域里面决定了他对部分服务的实时性、响应性是非常好的。

所以说当海量用户请求过来以后，它同样是请求调度节点，调度节点将用户的请求转发给后端对应的服务节点，服务节点处理完请求后在转发给调度节点，调度节点最后响应给用户节点。这样也能实现一个均衡的作用，那么Nginx则是一个典型的SLB

负载均衡能实现的应用场景一：四层负载均衡

所谓四层负载均衡指的是OSI七层模型中的传输层，那么传输层Nginx已经能支持TCP/IP的控制，所以只需要对客户端的请求进行TCP/IP协议的包转发就可以实现负载均衡，那么它的好处是性能非常快、只需要底层进行应用处理，而不需要进行一些复杂的逻辑。

负载均衡能实现的应用场景二：七层负载均衡

七层负载均衡它是在应用层，那么它可以完成很多应用方面的协议请求，比如常说的http应用的负载均衡，它可以实现http信息的改写、头信息的改写、安全应用规则控制、URL匹配规则控制、以及转发、rewrite等等的规则，所以在应用层的服务里面，可以做的内容就更多，那么Nginx则是一个典型的七层负载均衡SLB

四层负载均衡与七层负载均衡区别

四层负载均衡数据包在底层就进行了分发，而七层负载均衡数据包则是在最顶层进行分发、由此可以看出，七层负载均衡效率没有四负载均衡高。

但七层负载均衡更贴近于服务，如：http协议就是七层协议，可以用Nginx可以作会话保持，URL路径规则匹配、head头改写等等，这些是四层负载均衡无法实现的。

注意：四层负载均衡不识别域名，七层负载均衡识别域名

二、Nginx负载均衡模块 ngx_http_upstream_module

ngx_http_upstream_module 模块用于定义可以被 proxy_pass、fastcgi_pass、uwsgi_pass、scgi_pass 以及memcached_pass 等指令引用的服务器群。

对于常用的HTTP负载均衡，主要先定义一个upstream作为backend group，而后通过proxy_pass/fastcgi_pass等方式进行转发操作，其中fastcgi_pass几乎算是Nginx+PHP站点的标配。

Nginx负载均衡也是一种代理，与Nginx代理不同地方在于，Nginx的一个location仅能代理一台服务器，而Nginx负载均衡则是将客户端请求代理转发至一组upstream虚拟服务池（对应于后端多个服务器，逻辑上的一组），即负载均衡能对物理主机进行逻辑上的捆绑

ngx_http_upstream_module提供的常用配置指令：

upstream 与 server 指令

    Syntax: upstream name { ... } 
    Default: — 
    Context: http 
     
    Syntax: server address [parameters]; 
    Default: — 
    Context: upstream 

功能：定义一组upstream虚拟服务池（池中为后端服务器地址），地址可以是域名、IP 地址或者 Unix Socket 地址。可以在域名或者 IP 地址后加端口，如果不加端口，那么默认使用 80 端口。

参数parameters：
	负载均衡状态配置参数：后端服务器在负载均衡调度中的状态
		down 			当前的server暂时不参与负载均衡，常用于停机维护
		  例：
		    server 192.168.126.10:80 down;
		    
		backup 			预留的备份服务器（仅当非备份 server 不可用时，请求才会转发到该server）
		  例：
		    server 192.168.126.10:80 backup;
		    
		max_fails 		允许请求失败的次数。
		
		fail_timeout 	经过max_fails失败后, 服务暂停时间。
		  例：
		    server 192.168.126.10:80 max_fails=3 max_conns=10s;
		    
		max_conns 		限制最大的接收连接数。
		  例：
		    server 192.168.126.10:80 max_conns=100;

	负载均衡调度策略参数：
		调度算法 			概述
		轮询 			按时间顺序逐一分配到不同的后端服务器(默认)；按客户端请求顺序把客户端的请求逐一分配到不同的后端的服务器，这相当于lvs中 rr算法，如果后端服务器宕机（默认值检测80端口），当即服务器会被自定剔除，使用户访问不受影响，请求会分配给正常的服务器。
		  例：
			upstream test1 {
					server 192.168.126.10:80;
					server 192.168.126.11:80;
			}


		weight 			加权轮询,weight值越大,分配到的访问几率越高；在轮询算法的基础上加上权重（默认是rr+weight），权重轮询和访问成正比，权重越大转发的请求也就越多
		  例：
		    upstream test2 {
					server 192.168.126.10:80 weight=5;
					server 192.168.126.11:80 weight=1;	
			}
			
		ip_hash 		每个请求按访问IP的hash结果分配,这样来自同一IP的固定访问一个后端服务器；每个请求按访问的IP的hash结果分配，当新的请求到达时，先将其客户端通过哈希算法希出一个值，在随后请求客户端，ip的哈希值只要相同，就会被分至同一台服务器，该调度算法可以解决网页session共享问题，但有时会导致请求分配不均（尤其是对于客户端网络为NAT类型），及无法保证1:1的负载均衡；注意不能和加权轮询一起使用。
		  例：
		    upstream test3 {
		    		ip_hash;
					server 192.168.126.10:80;
					server 192.168.126.11:80;	
			}
			
		url_hash 		按照访问URL的hash结果来分配请求,是每个URL定向到同一个后端服务器
		least_conn 		最少链接数,那个机器链接数少就分发
		hash关键数值 	hash自定义的key
	

例：
upstream web {		# 定义一个名为web的服务集群。
    server web1.example.com       weight=5;
    server web2.example.com:8080;
    server unix:/tmp/web3;
    server backup1.example.com:8080   backup;
}
server {
    location / {
        proxy_pass http://web;	# 将匹配的请求代理转发到proxy_pass后面配置的服务上，这里因为需要配置负载均衡，所以这里http://后面必须要跟上upstream定义的服务集群。
    }
}

proxy_next_upstream指令

proxy_next_upstream error | timeout | invalid_header | http_500 | http_502 | http_503 | http_504 | http_403 | http_404 | http_429 | non_idempotent | off ...;
Default:    proxy_next_upstream error timeout;
Context:    http, server, location

功能：保证容错的一种重试机制。使用nginx负载均衡时，用以将后端请求超时或返回错误状态码的服务器流量平滑的切换到另一台上；如果后台服务连接超时，Nginx是本身是有机制的，如果出现一个节点down掉的时候，Nginx会更据你具体负载均衡的设置，将请求转移到其他的节点上，但是，如果后台服务连接没有down掉，但是返回错误异常码了如:504、502、500,这个时候就需要加负载均衡的proxy_next_upstream指令进行设置（意思是，当其中一台返回错误码404,500...等错误时，可以分配到下一台服务器程序继续处理，提高平台访问成功率。）

指定应将请求传递到下一个服务器的情况：
error             # 与服务器建立连接，向其传递请求或读取响应头时发生错误;
timeout           # 在与服务器建立连接，向其传递请求或读取响应头时发生超时;
invalid_header    # 服务器返回空的或无效的响应;
http_500          # 服务器返回代码为500的响应;
http_502          # 服务器返回代码为502的响应;
http_503          # 服务器返回代码为503的响应;
http_504          # 服务器返回代码504的响应;
http_403          # 服务器返回代码为403的响应;
http_404          # 服务器返回代码为404的响应;
http_429          # 服务器返回代码为429的响应（1.11.13）;
non_idempotent    # 通常，请求与 非幂等 方法（POST，LOCK，PATCH）不传递到请求是否已被发送到上游服务器（1.9.13）的下一个服务器; 启用此选项显式允许重试此类请求;
off               # 禁用将请求传递给下一个服务器。

下面指令用于设置请求传递的重试次数，0表示不限制。
Syntax:     proxy_next_upstream_tries number;
Default:    proxy_next_upstream_tries 0;
Context:    http, server, location

例：

upstream app-proxy {
    server 192.168.5.100:8080;
    server 192.168.5.101:8080;
}

server {
	listen 80;
	server_name www.app.com

	location / {
      proxy_pass         http://app-proxy;
      proxy_next_upstream error timeout http_500 http_502 http_503 http_504;
      proxy_next_upstream_tries 3;
      proxy_connect_timeout 60s;
      proxy_read_timeout 60s;
      proxy_send_timeout 60s;
      proxy_pass_request_headers      on;
      proxy_set_header   Host             $host:$server_port;
      proxy_set_header   X-Real-IP        $remote_addr;
      proxy_set_header   X-Forwarded-For  $proxy_add_x_forwarded_for;
    }
}  

三、Nginx第三方负载均衡健康检查模块

在Nginx官方模块提供的模块中，没有对负载均衡后端节点的健康检查模块，但可以使用第三方模块
nginx_upstream_check_module来检测后端服务的健康状态。链接地址：https://github.com/yaoweibin/nginx_upstream_check_module/

在yum安装nginx的基础上下载编译nginx和nginx_upstream_check_module模块，以实现平滑编译

1. 安装依赖包

[root@nginx ~]# yum install -y gcc glibc gcc-c++ pcre-devel openssl-devel patch

2. 下载nginx源码包及nginx_upstream_check第三方模块

[root@nginx ~]# wget http://nginx.org/download/nginx-1.14.2.tar.gz
[root@nginx ~]# wget https://github.com/yaoweibin/nginx_upstream_check_module/archive/master.zip

3. 解压nginx源码包以及第三方模块

[root@nginx ~]# tar xf nginx-1.14.2.tar.gz
[root@nginx ~]# unzip master.zip
[root@nginx ~]# ls
master.zip    nginx-1.14.2    nginx-1.14.2.tar.gz    nginx_upstream_check_module-master

4. 进入解压后的nginx目录，打补丁（当前nginx的版本是1.14，那么补丁就选择1.14的）

[root@nginx ~]# cd nginx-1.14.2/
[root@nginx nginx-1.14.2]# patch -p1 <../nginx_upstream_check_module-master/check_1.14.0+.patch
# p1代表在nginx目录下，p0表示不在nginx目录下

5. 编译安装nginx

[root@nginx nginx-1.14.2]# nginx -V
nginx version: nginx/1.14.2
built by gcc 4.8.5 20150623 (Red Hat 4.8.5-28) (GCC) 
built with OpenSSL 1.0.2k-fips  26 Jan 2017
TLS SNI support enabled
configure arguments: --prefix=/etc/nginx --sbin-path=/usr/sbin/nginx --modules-path=/usr/lib64/nginx/modules --conf-path=/etc/nginx/nginx.conf --error-log-path=/var/log/nginx/error.log --http-log-path=/var/log/nginx/access.log --pid-path=/var/run/nginx.pid --lock-path=/var/run/nginx.lock --http-client-body-temp-path=/var/cache/nginx/client_temp --http-proxy-temp-path=/var/cache/nginx/proxy_temp --http-fastcgi-temp-path=/var/cache/nginx/fastcgi_temp --http-uwsgi-temp-path=/var/cache/nginx/uwsgi_temp --http-scgi-temp-path=/var/cache/nginx/scgi_temp --user=nginx --group=nginx --with-compat --with-file-aio --with-threads --with-http_addition_module --with-http_auth_request_module --with-http_dav_module --with-http_flv_module --with-http_gunzip_module --with-http_gzip_static_module --with-http_mp4_module --with-http_random_index_module --with-http_realip_module --with-http_secure_link_module --with-http_slice_module --with-http_ssl_module --with-http_stub_status_module --with-http_sub_module --with-http_v2_module --with-mail --with-mail_ssl_module --with-stream --with-stream_realip_module --with-stream_ssl_module --with-stream_ssl_preread_module --with-cc-opt='-O2 -g -pipe -Wall -Wp,-D_FORTIFY_SOURCE=2 -fexceptions -fstack-protector-strong --param=ssp-buffer-size=4 -grecord-gcc-switches -m64 -mtune=generic -fPIC' --with-ld-opt='-Wl,-z,relro -Wl,-z,now -pie'
# 这个是前面用yum安装的，因为我们现在要给使用yum安装的nginx编译新模块，相当于重新安装nginx，为了与之前使用yum安装的nginx下的所有目录结构及
# 文件不能改变，就需要查看yum安装的nginx的编译参数，然后使用这些参数对nginx进行重新编译，从而实现nginx的平滑编译


# 编译参数直接使用上面的所有编译参数，然后再加上 --add-module=/root/nginx_upstream_check_module-master 参数，指定要编译进来的模块的位置
[root@nginx nginx-1.14.2]# ./configure --prefix=/etc/nginx --sbin-path=/usr/sbin/nginx --modules-path=/usr/lib64/nginx/modules --conf-path=/etc/nginx/nginx.conf --error-log-path=/var/log/nginx/error.log --http-log-path=/var/log/nginx/access.log --pid-path=/var/run/nginx.pid --lock-path=/var/run/nginx.lock --http-client-body-temp-path=/var/cache/nginx/client_temp --http-proxy-temp-path=/var/cache/nginx/proxy_temp --http-fastcgi-temp-path=/var/cache/nginx/fastcgi_temp --http-uwsgi-temp-path=/var/cache/nginx/uwsgi_temp --http-scgi-temp-path=/var/cache/nginx/scgi_temp --user=nginx --group=nginx --with-compat --with-file-aio --with-threads --with-http_addition_module --with-http_auth_request_module --with-http_dav_module --with-http_flv_module --with-http_gunzip_module --with-http_gzip_static_module --with-http_mp4_module --with-http_random_index_module --with-http_realip_module --with-http_secure_link_module --with-http_slice_module --with-http_ssl_module --with-http_stub_status_module --with-http_sub_module --with-http_v2_module --with-mail --with-mail_ssl_module --with-stream --with-stream_realip_module --with-stream_ssl_module --with-stream_ssl_preread_module --add-module=/root/nginx_upstream_check_module-master --with-cc-opt='-O2 -g -pipe -Wall -Wp,-D_FORTIFY_SOURCE=2 -fexceptions -fstack-protector-strong --param=ssp-buffer-size=4 -grecord-gcc-switches -m64 -mtune=generic -fPIC' --with-ld-opt='-Wl,-z,relro -Wl,-z,now -pie'

[root@nginx nginx-1.14.2]# make
[root@nginx nginx-1.14.2]# make install 

此时，就平滑编译完毕，之前用yum安装的nginx的目录结构和文件都没有任何变化，而且nginx_upstream_check_module模块也编译进来了

6. 配置nginx负载均衡，使用该模块的健康检查功能

[root@nginx ~]# vim /etc/nginx/conf.d/proxy.web.oldboy.com.conf
upstream web {
	server 172.16.1.7:80;
	server 172.16.1.8:80;	
	check interval=3000 rise=2 fall=3 timeout=1000 type=tcp;
	# interval检测时间间隔，单位是毫秒
	# rise表示请求2次正常，标记此后端的状态为Up
	# fall表示3次请求失败，标记此后端的状态为Down
	# type类型为tcp
	# timeout为超时时间，单位是毫秒
}

server {
	listen 80;
	server_name web.oldboy.com;
	
	location / {
		proxy_pass http://blog.bgx.com;
		proxy_set_header Host $http_host;
		proxy_set_header X-Reaal-IP $remote_addr
		proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for		
	}

	location /upatream_status {
		check_status;
		allow 172.16.1.5;
		deny all;
	}
}

[root@nginx ~]# nginx -t
[root@nginx ~]# nginx -s reload

7. 测试

查看该负载均衡的状态：

停掉后端一台nginx节点

[root@web02 ~]# systemctl stop nginx

查看

四、Nginx负载均衡session共享

在使用负载均衡的时候会遇到会话保持的问题，可通过如下方式解决：

1. 使用负载均衡调度策略中ip_hash，根据客户端IP地址，将请求分配到不同的服务器上（但是此方式对客户端网络为NAT类型的，会导致某一台后端服务器压力过大）
2. 基于服务端的session会话共享（mysql/memcache/redis/file）

在解决负载均衡会话问题需要了解session和cookie的区别

浏览器端存的是cookie，每次浏览器发请求到服务端时报文头是会自动添加cookie信息。
服务端会查询用户的cookie作为key去存储里找对应的value（session）
同一域名下的网站的cookie都是一样的。所以无论几台服务器，无论请求分配到哪一台服务器上同一用户的cookie是不变的。也就是说cookie对应的session也是唯一的。所以，这里只要保证多台业务服务器访问同一个共享服务器（mysql/memcache/redis/file）就行了。

配置redis作为session共享服务器

1. 配置后端服务器节点

# 安装phpadmin
[root@web01 ~]# wget https://files.phpmyadmin.net/phpMyAdmin/5.1.1/phpMyAdmin-5.1.1-all-languages.zip
--2021-07-30 15:42:32--  https://files.phpmyadmin.net/phpMyAdmin/5.1.1/phpMyAdmin-5.1.1-all-languages.zip
Resolving files.phpmyadmin.net (files.phpmyadmin.net)... 89.187.187.19, 2a02:6ea0:c800::10
Connecting to files.phpmyadmin.net (files.phpmyadmin.net)|89.187.187.19|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: 14801905 (14M) [application/zip]
Saving to: ‘phpMyAdmin-5.1.1-all-languages.zip’

100%[=======================================================================================>] 14,801,905   449KB/s   in 28s    

2021-07-30 15:43:01 (519 KB/s) - ‘phpMyAdmin-5.1.1-all-languages.zip’ saved [14801905/14801905]

[root@web01 ~]# unzip phpMyAdmin-5.1.1-all-languages.zip
[root@web01 ~]# ls
phpMyAdmin-5.1.1-all-languages  phpMyAdmin-5.1.1-all-languages.zip

# 配置phpadmin连接后端数据库服务器

[root@web01 ~]# cp phpMyAdmin-5.1.1-all-languages/config.sample.inc.php config.inc.php

[root@web01 ~]# vim config.inc.php 
$cfg['Servers'][$i]['host'] = '后台数据库服务器IP';	# 第30行

# 配置nginx
[root@web01 ~]# vim /etc/nginx/conf.d/php.conf
server {
	listen 80;
	server_name php.test.com;
	root /root/phpMyAdmin-5.1.1-all-languages;		# 主要是这里

	location / {
		index index.php;
	}
	
	location ~ \.php$ {
		fastcgi_pass 127.0.0.1:9000;
		fastcgi_param SCRIPT_FILENAME $document_root$fastcgi_script_name;
		include fastcgi_params;
	}
} 

# 授权（php和Nginx服务的用户）
[root@web01 ~]# chown -R www:www /var/lib/php/  # 存放session的目录

# 重载nginx
[root@web01 ~]# nginx -s reload

php的session文件默认是以file文件格式存在本地，默认在/var/lib/php/session/目录下

配置DNS解析后，访问域名php.test.com，出现如下界面
使用后端数据库用户名和密码登录，便可以登录后端数据库

其他后端web服务器同以上配置

2. 配置负载均衡节点

[root@lb01 conf.d]# vim proxy_php.conf 
upstream php {
        server 后端web服务器IP:PORT;
        server 后端web服务器IP:PORT;
}

server {
        listen 80;
        server_name php.test.com;

        location / {
                proxy_pass http://php;
                include proxy_params;
        }
}

[root@lb01 conf.d]# nginx -t
nginx: the configuration file /etc/nginx/nginx.conf syntax is ok
nginx: configuration file /etc/nginx/nginx.conf test is successful
[root@lb01 conf.d]# nginx -s reload

因为使用的是轮询机制所以此时再无法成功登录，因为访问该网页是一个服务器，登录是第二个请求又会将该请求调度到下一个服务器，导致session错误，所以就需要让所有的后端web服务器共享session

3. 配置redis会话共享服务器

[root@redis ~]# yum install epel-release -y
[root@redis ~]# yum install redis -y
[root@redis ~]# sed -i '/^bind/c bind 127.0.0.1 redis服务器IP' /etc/redis.conf
[root@redis ~]# systemctl start redis
[root@redis ~]# systemctl enable redis

4. 将后端web服务器的php配置session连接redis

[root@web01 ~]# vim /etc/php.ini
# 以下为该文件中需要修改的
session.save_handler = redis	# session存储方式
session.save_path = "tcp://redis服务器IP:PORT"  ;redis默认监听在6379端口
;session.save_path = "tcp://redis服务器IP:PORT?auth=redis密码" #如果redis存在密码，则使用该方式
session.auto_start = 1		# 启用session

# 注释php-fpm.d/www.conf里面的两条内容，否则session内容会一直写入/var/lib/php/session目录中
[root@web01 ~]# vim /etc/php-fpm.d/www.conf
;php_value[session.save_handler] = files
;php_value[session.save_path]    = /var/lib/php/session

[root@web01 ~]# systemctl restart php-fpm

其他后端web服务器同以上配置

4. 测试

客户端访问域名 php.test.com，登录并在浏览器上查看该session是否写入redis服务器中

[root@redis ~]# redis-cli
127.0.0.1:6379> keys *
1) "PHPREDIS_SESSION:89f1fc340e4680f46e503df129d9ef67"