[系统运维]HAproxy+Nginx7层负载均衡

一、关于4/7层负载平衡

1.1 4层负载均衡

将网络流量负载，平衡到多个服务器的最简单方法，是使用第4层（传输层）负载平衡。以这种方式进行负载均衡将根据IP范围和端口转发用户流量（即，如果请求进入http://yourdomain.com/anything，则流量将转发到处理yourdomain.com的所有请求的后端。端口80）。

工作原理

用户访问负载均衡器，负载均衡器将用户的请求转发给后端服务器的Web后端组。无论选择哪个后端服务器，都将直接响应用户的请求。通常，Web后端中的所有服务器应该提供相同的内容 - 否则用户可能会收到不一致的内容。

1.2 7层负载均衡

7层负载平衡是更复杂的负载均衡网络流量的方法是使用第7层（应用层）负载均衡。使用第7层允许负载均衡器根据用户请求的内容将请求转发到不同的后端服务器。这种负载平衡模式允许您在同一域和端口下运行多个Web应用程序服务器。

工作原理

示例中，如果用户请求yourdomain.com/blog，则会将其转发到博客后端，后端是一组运行博客应用程序的服务器。其他请求被转发到web-backend，后端可能正在运行另一个应用程序。

7层负载不同叫法

7层负载均衡、应用程序负载均衡、URL负载均衡、动静分离技术

特点

• 支持tcp / http 两种协议层的负载均衡，使得其负载均衡功能非常丰富。
• 支持8种左右的负载均衡算法，尤其是在http模式时，有许多非常实在的负载均衡算法，适用各种需求。
• 性能非常优秀，基于事件驱动的链接处理模式及单进程处理模式（和Nginx类似）让其性能卓越。
  处理模式
  单线程处理模式：所有客户端连接全部都由同一个服务进程来处理，目标就是等待连接，来一个分配一个，主要消耗cpu。
  多线程处理模式：多线程模式消耗内存，会限制并发而且多线程需要进程间通信，也会消耗相当多的cpu资源
• 拥有一个功能出色的监控页面，实时了解系统的当前状况。
• 功能强大的ACL支持，给用户极大的方便。

免费、快速并且可靠

是一款高性能的负载均衡软件。
因为其专注于负载均衡这一些事情，
因此与nginx比起来在负载均衡这件事情上做更好，更专业。

是一款高性能的负载均衡软件。
因为其专注于负载均衡这一些事情，
因此与nginx比起来在负载均衡这件事情上做更好，更专业。

用户群体

包括 GitHub、Bitbucket 、Stack Overflow 、Reddit、Tumblr、Twitter 和 Tuenti 在内的知名网站，及亚马逊网络服务系统都使用了HAProxy。

二、实战示例1

准备环境

4台LINUX，相互做好域名解析
Client：192.168.238.129
HApoxy: 192.168.238.138
WEB1:	192.168.238.140
WEB2:	192.168.238.146

再WEB1/WEB2上相同操作，修改index.html 文件，区分WEB1.WEB2

systemctl stop firewalld && setenforce 0
ntpdate IP地址		同步的主机
yum install -y httpd
echo web1 > /var/www/html/index.html

在HAproxy

HAproxy:
yum -y install epel-release
yum -y install haproxy 
vim /etc/haproxy/haproxy.cfg
===========================================================================================================
[root@haproxy ~]# vim /etc/haproxy/haproxy.cfg

    #    by adding the '-r' option to the SYSLOGD_OPTIONS in
    #    /etc/sysconfig/syslog
    #
    # 2) configure local2 events to go to the /var/log/haproxy.log
    #   file. A line like the following can be added to
    #   /etc/sysconfig/syslog
    #
    #    local2.*                       /var/log/haproxy.log
    #
    log         127.0.0.1 local2

    chroot      /var/lib/haproxy
    pidfile     /var/run/haproxy.pid
    maxconn     4000
    user        haproxy
    group       haproxy
    daemon

    # turn on stats unix socket
    stats socket /var/lib/haproxy/stats

#---------------------------------------------------------------------
# common defaults that all the 'listen' and 'backend' sections will
# use if not designated in their block
#---------------------------------------------------------------------
defaults
    mode                    http
    log                     global
    option                  httplog
    option                  dontlognull
    option http-server-close
    option forwardfor       except 127.0.0.0/8
    option                  redispatch
    retries                 3
    timeout http-request    10s
    timeout queue           1m
    timeout connect         10s
    timeout client          1m
    timeout server          1m
    timeout http-keep-alive 10s
    timeout check           10s
    maxconn                 3000

#---------------------------------------------------------------------
# main frontend which proxys to the backends
#---------------------------------------------------------------------
#frontend  web *:80
#    acl url_static       path_beg       -i /static /images /javascript /stylesheets
#    acl url_static       path_end       -i .jpg .gif .png .css .js

#   use_backend static          if url_static
#    default_backend             app
==========================================================================================================
#######第一种实现方法#############
==========================================================================================================
listen app
        bind *:80
        server app1 192.168.238.140:80 check
        server app2 192.168.238.146:80 check

listen stats *:80
        mode http
#       stats uri /admin?stats    
        stats uri /proxy     #  访问地址后缀
        stats auth proxy:123456
        balance roundrobin
        option httpclose
        option forwardfor
        option httpchk
        server web1 192.168.238.140:80 cookie web1 check port 80 inter 5000 fall 5
        server web2 192.168.238.146:80 cookie web2 check port 80 inter 5000 fall 5
#---------------------------------------------------------------------
# static backend for serving up images, stylesheets and such
#---------------------------------------------------------------------
                                                                           70,1-8        83%

===========================================================================================================
#####第二种方法
===========================================================================================================
vim /etc/haproxy/haproxy.cfg
修改第一种部分其他不动
stats uri /proxy
    stats realm Private lands
    stats auth proxy:123456
    stats hide-version
           
    frontend http-in
        bind *:80 
        mode http 
        log global
        option httplog
        option httpclose
     acl html url_reg  -i  \.html$
     use_backend html-server if  html
     default_backend html-server
#---------------------------------------------------------------------
# round robin balancing between the various backends
#---------------------------------------------------------------------
backend html-server
        mode http
        balance roundrobin
        option httpchk GET /index.html
        cookie SERVERID insert indirect nocache
        server html-A web1:80 weight 1 cookie 3 check inter 2000 rise 2 fall 5
        server html-B web2:80 weight 1 cookie 4 check inter 2000 rise 2 fall 5

client测试

[root@client ~]# elinks --dump http://haproxy
   web2
[root@client ~]# elinks --dump http://haproxy
   web1
[root@client ~]# elinks --dump http://haproxy
   web2
[root@client ~]# elinks --dump http://haproxy
   web2

访问HAproxy

http://192.168.238.138/proxy
账户输入上面haproxy.cfg里面的；
proxy
123456

三、Nginx

特点

功能强大，性能卓越，运行稳定
配置简单灵活
能够自动剔除工作不正常的后端服务器
上传文件使用异步模式。client---nginx---web1 web2 web3  lvs同步请求 DR client -->dr---web1
支持多种分配策略,可以分配权重,分配方式灵活。

优势

nginx复制用户请求，在后端服务器出现问题时。nginx会再复制一份请求发给另一台后端服务器。
lvs则在这种情况，只能用户重新发请求

缺点

流量会经过ngnix，nginx成为瓶颈

工作原理

3.1 7层负载示例

通过location对不同的请求进行进行负载均衡，因为通过http协议，所以称作7层

location  / {

}
location ~ \.html${
proxy_pass ...
}
location ~ \.php${
proxy_pass ...
}
location ~ \.(jpg|png|css|js)${
proxy_pass ...
}     

3.2 nginx负载均衡算法

round robin(默认):	轮询方式，依次将请求分配到各个后台服务器中，默认的负载均衡方式。 
	适用于后台机器性能一致的情况。 
	挂掉的机器可以自动从服务列表中剔除。

weight：根据权重来分发请求到不同的机器中，指定轮询几率，weight和访问比率成正比，用于后端服务器性能不均的情况。  
例如：  
upstream bakend {    
server 192.168.0.14 weight=10;    
server 192.168.0.15 weight=10;    
}  

IP_hash:
根据请求者ip的hash值将请求发送到后台服务器中，可以保证来自同一ip的请求被打到固定的机器上，可以解决session问题。

例如：
upstream bakend {    
ip_hash;    
server 192.168.0.14:88;    
server 192.168.0.15:80;    
}   

url_hash(第三方):
根据请求的url的hash值将请求分到不同的机器中，当后台服务器为缓存的时候效率高。
需要额外安装 nginx的upstream_hash模块
wget http://wiki.nginx.org/images/7/78/Nginx_upstream_hash-0.3.tar.gz


在upstream中加入hash语句，server语句中不能写入weight等其他的参数，hash_method是使用的hash算法  
复制代码
upstream backend {    
server squid1:3128;    
server squid2:3128;    
hash $request_uri;    
hash_method crc32;    
}  

fair(第三方):
根据后台响应时间来分发请求，响应时间短的分发的请求多。

例如：
upstream backend {    
server server1;    
server server2;    
fair;    
}  

1.down 表示单前的server暂时不参与负载
2.weight 默认为1.weight越大，负载的权重就越大
3.max_fails ：允许请求失败的次数默认为1.当超过最大次数时，返回proxy_next_upstream 模块定义的错误
4.fail_timeout:max_fails次失败后，暂停的时间。
5.backup： 其它所有的非backup机器down或者忙的时候，请求backup机器。所以这台机器压力会最轻。
nginx支持同时设置多组的负载均衡，用来给不用的server来使用。
client_body_in_file_only 设置为On 可以讲client post过来的数据记录到文件中用来做debug
client_body_temp_path 设置记录文件的目录 可以设置最多3层目录
location 对URL进行匹配.可以进行重定向或者进行新的代理 负载均衡

3.3 Nginx实战

准备环境

client：192.168.238.129
nginx:nginx
apache:web1
apache:web2

Nginx Server:

yum -y install epel-release
yum -y installd nginx

vim /etc/nginx
upstream  html {
	server web1:80;
	server web2:80;
}
server {

location / {
proxy_pass   http://html;
}
}

访问nginx;能交替看到web1和web2

3.4 动静分离

   upstream html {
        server web1:80;
        server web2:80;
        }
    upstream php {
        server web3:80;
        server web4:80;
        }
server {
        location / {
         proxy_pass http://html;
        }
        location ~ \.php$ {
         proxy_pass http://php;
        }
}


测试：
elinks --dump http://nginx
elinks --dump http://nginx/index
elinks --dump http://nginx/index.php

3.5 NGINX实现7层负载均衡

一、实施过程
1. 根据站点分区进行调度
http {
    upstream news {
        server 192.168.1.11:80 weight=1 max_fails=2 fail_timeout=2;
        server 192.168.1.12:80 weight=2 max_fails=2 fail_timeout=2;
        server 192.168.1.13:80 weight=2 max_fails=2 fail_timeout=2;
       }
       
    upstream milis {
        server 192.168.1.21:80 weight=1 max_fails=2 fail_timeout=2;
        server 192.168.1.22:80 weight=2 max_fails=2 fail_timeout=2;
        server 192.168.1.23:80 weight=2 max_fails=2 fail_timeout=2;
       }
       
     upstream videos {
        server 192.168.1.31:80 weight=1 max_fails=2 fail_timeout=2;
        server 192.168.1.32:80 weight=2 max_fails=2 fail_timeout=2;
        server 192.168.1.33:80 weight=2 max_fails=2 fail_timeout=2;
       }
       
     upstream images {
        server 192.168.1.41:80 weight=1 max_fails=2 fail_timeout=2;
        server 192.168.1.42:80 weight=2 max_fails=2 fail_timeout=2;
        server 192.168.1.43:80 weight=2 max_fails=2 fail_timeout=2;
       }
       
      upstream others {
        server 192.168.1.51:80 weight=1 max_fails=2 fail_timeout=2;
        server 192.168.1.52:80 weight=2 max_fails=2 fail_timeout=2;
        server 192.168.1.53:80 weight=2 max_fails=2 fail_timeout=2;
       }
       
     server {
          	location / {
      		proxy_pass http://others;
      		}
      		
      		location /news {
      		proxy_pass http://news;
      		}
      		
      		location /mili {
      		proxy_pass http://milis;
      		}
      		
      		location ~* \.(wmv|mp4|rmvb)$ {
      		proxy_pass http://videos;
      		}
      		
      		location ~* \.(png|gif|jpg)$ {
      		proxy_pass http://images;
      		}
}
 

2. 根据动静分离进行调度
http {
     upstream htmlservers {
        server 192.168.1.3:80 weight=1 max_fails=2 fail_timeout=2;
        server 192.168.1.4:80 weight=2 max_fails=2 fail_timeout=2;
         }
         
	 upstream phpservers {
        server 192.168.1.3:80 weight=1 max_fails=2 fail_timeout=2;
        server 192.168.1.4:80 weight=2 max_fails=2 fail_timeout=2;
         }
         
      server {
      		location ~* \.html$ {
      		proxy_pass http://htmlservers;
      		}
      		
      		location ~* \.php$ {
      		proxy_pass http://phpservers;
      		}
      }
 }


二、Keepalived实现调度器HA
注：主/备调度器均能够实现正常调度
1. 主/备调度器安装软件
[root@master ~]# yum -y install ipvsadm keepalived 
[root@backup ~]# yum -y install ipvsadm keepalived

2. Keepalived
Master 
# vim /etc/keepalived/keepalived.conf
! Configuration File for keepalived

global_defs {
   router_id director1			//辅助改为director2
}

vrrp_instance VI_1 {
    state BACKUP
    nopreempt				
    interface eth0				//心跳接口，尽量单独连接心跳
    virtual_router_id 80		//MASTER,BACKUP一致
    priority 100					//辅助改为50
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.1.80
    }
}

BACKUP


3. 启动KeepAlived（主备均启动）
# chkconfig keepalived on
# service keepalived start
# ip addr


4. 扩展对调度器Nginx健康检查（可选）
思路：
让Keepalived以一定时间间隔执行一个外部脚本，脚本的功能是当Nginx失败，则关闭本机的Keepalived
a. script
[root@master ~]# cat /etc/keepalived/check_nginx_status.sh
#!/bin/bash												
/usr/bin/curl -I http://localhost &>/dev/null	
if [ $? -ne 0 ];then										
	/etc/init.d/keepalived stop						
fi																
[root@master ~]# chmod a+x /etc/keepalived/check_nginx_status.sh

b. keepalived使用script
! Configuration File for keepalived

global_defs {
   router_id director1
}

vrrp_script check_nginx {
   script "/etc/keepalived/check_nginx_status.sh"
   interval 5
}

vrrp_instance VI_1 {
    state BACKUP
    interface eth0
    nopreempt
    virtual_router_id 90
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass tianyun
    }
    virtual_ipaddress {
        192.168.1.80
    }

    track_script {
        check_nginx
    }
}

3.6 关于php和php-fpm的一点点区别

--------------------
proxy_pass   
    后端服务器用的非php独立进程
    apache+php模块
fastcgi_pass
    后端服务器用的是php-fpm
    php-fpm(fastcgi形式的php)

后端服务器部署详细过程：
安装软件：
    # yum install nginx php php-fpm -y
    # vim /etc/nginx/nginx.conf   //添加php配置
    在server里面添加如下配置：
    location ~ \.php$ {
            root           html;
            fastcgi_pass   127.0.0.1:9000;
            fastcgi_index  index.php;
            fastcgi_param SCRIPT_FILENAME $document_root$fastcgi_script_name;
            include        fastcgi_params;
        }
   
   修改php-fpm进程账户并开启php-fpm的进程： 端口是9000  
   #vim /etc/php-fpm.d/www.conf  //修改如下参数，默认值是apache
   user = nginx
   group = nginx
   
   为什么设置成nginx:
       因为nginx.conf配置的账户为nginx
   
   # systemctl start php-fpm
       

前端nginx反向代理服务器：
    upstream web {
         server 10.0.0.21;
         server 10.0.0.22;
        }
    upstream phpserver {
         server 10.0.0.23;
         server 10.0.0.24;
        }       #上面的配置写到http里面server外面
       
    server {
        listen 80;
        server_name www.baidu.com;
        location / {                        #html的配置
        proxy_pass http://web;
        }

        location ~* \.php$ {         #php的配置
        proxy_pass http://phpserver;
        }