[系统运维]Linux学习-HaProxy

HAProxy是一个使用C语言编写的自由及开放源代码软件[1]，其提供高可用性、负载均衡，以及基于TCP和HTTP的应用程序代理。

HaProxy借助于OS上几种常见的技术来实现性能的最大化

1. 单进程、事件驱动模型显著降低了上下文切换的开销及内存占用
2. O(1)事件检查器(event checker)允许其在高并发连接中对任何连接的任何事件实现即时探测
3. 在任何可用的情况下，单缓冲(single buffering)机制能以不复制任何数据的方式完成读写操作，这会节约大量的CPU时钟周期及内存带宽
4. 借助于Linux2.6及以上版本的splice()系统调用，HaProxy可以实现零复制转发，在Linux3.5以上的OS中还可以实现零复制启动
5. MRU内存分配器在固定大小的内存池中可实现即时内存分配，这能够显著减少创建一个会话的时长
6. 树形存储：侧重于使用作者多年前开发的弹性二叉树，实现以O(log(N))的低开销来保持计时器命令，保持运行队列命令及管理轮询及最少连接队列
7. 优化的HTTP首部分析：优化的首部分析功能避免了在HTTP首部分析过程中重读任何内存区域
8. 精心地降低了昂贵的系统调用，大部分工作都在用户空间完成，如时间读取、缓冲聚合及文件描述符的启用和禁用等

所有这些细微之处的优化实现了在中等规模负载之上依然有着相当低的CPU负载，甚至在非常高的负载场景中，5%的用户空间占用率和95%的系统空间占用率也是非常普遍的现象，这意味着Haproxy进程消耗比系统空间消耗低20倍以上，因此，对OS进行性能调优是非常重要的，即使用户空间的占用率提高一倍，其CPU占用率也仅为10%,在高端系统上Haproxy的7层性能可轻易超过硬件负载均衡设备。

从三个因素评估负载均衡器的性能
会话率—单位时间内完成的会话数
会话并发能力—同时持有的会话数
数据率–单位时间内数据的交换能力

配置HaProxy
配置文件格式
3种主要参数来源

1. 最优先处理的命令行参数
2. global配置段，用于设定全局配置参数
3. proxy相关配置段，如default,listen,frontend,backend
   时间格式
   一些包含了值的参数表示时间，如超长时间，一般以毫秒为单位
   us：微秒
   ms：毫秒
   s：秒
   m：分钟
   h：小时
   d：天

全局配置

1. 进程管理及安全相关的参数

• chroot ：修改haproxy的工作目录至指定的目录并在放弃权限之前执行chroot()操作，可以提升haproxy的安全级别，需要注意要确保指定的目录为空目录且任何用户均不能有写权限
• daemon：让haproxy以守护进程的方式工作于后台，其等同于“-D”选项的功能，也可以在命令行中以“-db”选项将其禁用
• gid ：以指定的GID运行haproxy，建议使用专用于运行haproxy的GID，以免因权限问题带来风险
• group ：同gid，但需要指定组名
• log
  [max level [min level]]：定义全局的syslog的服务器，最多可以定义两个
• log-send-hostname[]：在syslog信息的首部添加当前主机名，可以为“string”指定名称，也可以使用主机名(默认)
• nbproc ：指定启动的haproxy进程个数，只能用于守护进程模式的haproxy，默认只启动一个进程，鉴于调试困难等多方面的原因，一般只在单进程仅能打开少数文件描述符的场景中才能使用多进程模式。
• pidfile：
• uid：以指定的UID身份运行haproxy进程
• ulimit-n：设定每个进程所能够打开的最大文件描述符数目，默认情况下其会自动计算，不建议修改此选项
• user：同uid,使用的是用户名
• stats：
• node：定义当前节点的名称，用于HA场景中多haproxy进程共享同一个IP地址
• description：当前实例的描述信息

5. 性能调整相关的参数

• maxconn ：设定每个haproxy进程所接受的最大并发连接数，其等同于命令行选项“-n”,"ulimit -n"自动计算的结果正是参照此参数设定
• maxpipes ：haproxy使用pipe完成基于内核的tcp报文重组，此选项则用于设定每进程所允许使用的最大pipe个数，每个pipe会打开两个文件描述符，因此"ulimit-n"自动计算时会根据需要调大此值，默认为maxconn/4，其通常会过大
• noepoll：在linux禁用epoll
• nokqueue：在BSD系统上禁用kqueue
• nopoll：禁用poll机制
• nosepoll：在linux禁用启发式epoll
• nosplice：禁止在linux套接字上使用内核tcp重组，这会导致更多的recv/send系统调用，在linux2.6系列的内核上，tcp重组功能有bug存在
• spred-checks <0…50,in percent>：在haproxy后端有众多的服务器场景中，在精确的时间间隔后统一对众服务器进行健康状况检查会带来意外问题，此选项用于将其检查的时间间隔长度上增加或减小一定的随机时长
• tune.bufsize ：设定buf的大小，同样的内存条件大小，较小的值可以让haproxy有能力接受更多的并发连接，较大的值可以让某些应用程序使用较大的cookie信息，默认16384,其可以编译时修改，强烈建议使用默认值
• tune.chksize ：设定检查缓冲区的大小，单位为字节，更大的值有助于在较大的页面中完成基于字体串或模式的文本查找，但也会占用更多的系统资源，不建议修改
• tune.maxaccept ：设定haproxy进程内核调试运行时一次性可以接受的连接的个数，较大的值可以带来较大的吞吐率，默认在单进程模式下为100，多进程模式下为8，设定-1可以禁用此限制，不建议修改
• tune.maxpollevents ：设定一次系统调用可以处理的事件最大数，默认取决于OS，其值小于200时可节约带宽，但会略微增大网络延迟，而大于200时会降低延迟，但会稍稍增加网络带宽的占用量
• tune.maxrewrite ：设定为首部重写或追加而预留的缓冲空间，建议使用1024左右的大小，在需要使用更大的空间时，haproxy会自动增加其值
• tune.rcvbuf.client ：
• tune.rcvbuf.server ：设定内核套接字中服务端或客户端接收缓冲的大小，单位为字节，建议使用默认值
• tune.sndbuf.client：
• tune.sndbuf.server：
  Debug相关的参数
• debug
• quiet

代理

• defaults
• frontend
• backend
• listen

defaults段用于为所有其它配置段提供默认参数，默认配置参数可由下一个defaults所重新设定
frontend段定义一系列监听的套接字，这些套接字可接受客户端请求并与之建立连接
backend段定义一系列后端服务器，代理将对应客户端的请求转发至这些服务器
listen段通过关联前端和后端定义一个完整的蕙，通常只对TCP流量有用
注：所有代理的名称只能使用大写、小写字母、数字、-(中线)，_(下划线)、.(点号)和:(冒号)，此外ACL名称会区分字母大小写。
配置文件的关键参数

• balance []
• balance url_param [check_post [<max_wait>]]
  定义负载均衡算法，可用于“defaults”,listen和backend
  用于在负载均衡场景中挑选一个server，其仅应用于持久信息不可用的条件下或需要将一个连接重新派发至另一个服务器时，支持的算法有：

• roundrobin：基于权重进行轮询，在服务器的处理时间保持均匀分布时，这是最平衡、最公平的算法，此算法是动态的，表示其权重可以在运行时进行调整，在设计上，每个后端服务器仅能最多接受4218个连接
• static-rr：基于权重进行轮询，与round-robin类似，为静态算法，在运行时调整其服务器权重不会生效，不过在后端服务器连接上没有限制
• leastconn：新的连接请求被派发球场具有最少连接数目的后端服务器，在有着较长会话的场景中推荐使用此算法，如LDAP，SQL等，不太适用于较短会话的应用层协议，如HTTP，此算法是动态的，可运行时调整其权重
• source：将请求的源地址进行hash运算，并由后端服务器的权重总数相除后派发至某匹配的服务器，这可以使得同一个客户端IP的请求始终派发至某特定的服务器，不过，当服务器权重总数发生变化时，如某服务器宕机或添加了新的服务器，许多客户端的请求可能会被派发至与此前请求不同的服务器；常用于负载均衡无cookie功能的基于TCP的协议，默认为静态，不过也可以使用hash-type修改此特性
• uri：对URI的左半部分或整个URI进行hash运算，并由服务器的总权重相除后派发至某匹配的服务器；这可以使得对同一个URI的请求总是派发至某特定的服务器，除非服务器的权重总数发生变化，此算法常用于代理缓存或反病毒代理以提高缓存的命中率，需要注意的是，此算法仅应用于HTTP后端服务器场景，默认为静态算法，不过也可以使用hash-type修改此特性
• url_param：通过为URL指定的参数在每个HTTP GET请求中将会被检索；如果找到了指定的参数且其通过等于号“=”被赋于一个值，那么此值将被执行hash运算并被服务器的总权重相除后派发至某匹配的服务器，此算法可以通过追踪请求中的用户标识进而确保同一个用户ID的请求将送往同一个特定服务器，除非服务器的权重发生了变化，如果请求中没有出现指定的参数或其没有有效值，则使用轮询算法对相应请求进行调度，此算法默认为静态，可以通过hash-type进行修改
• hdr()：对于每个HTTP请求，通过()指定的HTTP首部将会被检索，如果相应的首部没有出现或没有有效值，则使用轮询算法对相应主求进行调度，其中一个可选项"use_domain_only"可在指定检索类似Host类的首部时仅计算域名部分(比如通过www.tye.com,仅计算tye的hash值)以降低hash算法的运算量，此算法默认为静态，可通过hash-type修改
• rdp-cookie
• rdp-cookie(name):

• bind [
  ]:<port_range>[,…]
• bind [
  ]:<port_range>[,…] interface
  此指令仅能用于frontend和listen区段，用于定义一个或几个监听的套接字

• ：可选选项，其可以为主机名、IPV4地址、IPV6地址或【*】，省略此选项，将其指定为【*】或者0.0.0.0时，将监听当前系统的所有IPV4地址
• <port_rang>：可以是一个特定的TCP端口，也可以是一个端口范围，代理服务器将通过指定的端口来接收客户端请求，需要注意的是，每组监听的套接字address:port在同一个实例只能使用一次，而且小于1024的端口需要有特定权限的用户才能使用，这可能需要uid参数来定义
• ：指定物理接口的名称，仅能在linux系统上使用，其不能使用接口别名，而仅能使用物理接口名称，而且只有管理员有权限指定绑定的物理接口

• mode {tcp|http|health}
  设定实例的运行模式或协议，当前实现内容交换时，前端和后端必须工作于同一种模式(一般为HTTP)，否则无法启动实例

• tcp：实例运行于纯TCP模式，在客户端和服务器端之间将建立一个全双工的连接，且不会对7层报文做任何类型的检查，此为默认模式，通常用于SSL，SSH，SMTP等应用
• http：实例运行于HTTP模式，客户端请求在转发至后端服务器之前将被深度分析，所有不与RFC格式兼容的请求都会被拒绝
• health：实例工作于health模式，其对入站请求仅响应“OK”信息并关闭连接，且不会记录任何日志信息；此模式用于响应外部组件的健康检查请求，此模式已废弃，因为tcp或http模式中的monitor关键字可完成类似功能

• hash-type
  定义用于将hash码映射至后端服务器的方法，其不能用于frontend区段，可用方法有map-based和consistent，在大多数情况下默认使用map-based方法

• map-based：hash表中一个包含了所有在线服务器的静态数组，其hash值将会非常平滑，会将权重考虑在列，但其为静态方法，对在线服务器的权重进行调整不会生效，这意味着其不支持慢速启动，此外，挑选服务器是根据其在数组中的位置进行的，因此，当一台服务器宕机可添加了新的服务器，大多数连接会重新派发至一个与此前不同的服务器上，对于缓存服务器的工作场景来说，此方法不适用
• consistent：hash表是一个由各服务器填充而成的树状结构，基于hash键在hash树中查找相应的服务器时，最近的服务器将被选中，此方法是动态的，支持在运行时修改服务器权重，因此兼容慢速启动的特性，添加一个新服务器时，仅会对一小部分请求产生影响，因此，尤其适用于后端服务器为cache的场景，不过，此算法不甚平滑，派发至各服务器的请求未必能达到理想的均衡效果，因此，可能需要不时的调整服务器的权重以获得更好的均衡性

• log global
• log
  [[]]
  为每个实例启用事件和流量日志，因此可用于所有区段，每个实例最多可以指定两个log参数，不过使用了log global且global段已经定了两个log参数时，多余了log参数将被忽略

• global：当前实例的日志系统参数同“global”段中的定义时，将使用此格式；每个实例仅能定义一次log global语句，且其没有任何额外参数
• ：定义日志发往的位置，其格式之一可以为，其中的port为UDP协议端口，默认为514，格式二为Unix套接字文件路径，但需要留心chroot应用及用户的读写权限
• ：可以为syslog系统的标准facility之一
• ：定义日志级别，即输出信息过滤器，默认为所有信息，指定级别时，所有等于或高于此级别的日志信息将被发送

• maxconn
  设定一个前端的最大并发连接数，因此其不能用于backend段，对于大型站点来说，可以尽可能提高此值以便让haproxy管理连接队列，从而避免无法应答用户请求，当然此最大值不能超出global段中的定义，此外，需要留心haproxy会为每个连接维持两个缓冲，每个缓冲的大小为8KB，再加上其它的数据，每个连接将大约占用17KB的RAM空间，这意味着经过适当优化后，有着1GB的可用RAM空间时将能维护40000-50000并发连接
  conns指定了一个过大值，极端场景下，其最终占据的空间可能会走出当前主机的可用内存，这可能会带来意想不到的结果，将其设定一个可以接受值为明智决定，其默认为2000
• default_backend
• 在没有匹配的use_backend规则时为实例指定使用的默认后端，因此，不可用于backend段，在frontend和backend之间进行内容交换时，通常使用use-backend定义其匹配规则，而没有被规则匹配到的请求将由此参数指定的后端接收。
  ：指定使用的后端名称
• server
  [:port][param]
  为后端声明一个server，不能用于defaults和frontend区段

• ：此服务器指定的内部名称，其将出现在日志及警告信息中，如果设定了http-send-server-name，它还将被添加至发往服务器的请求首部中
• ：此服务器的IPV4地址，也支持使用可解析的主机名，只不过在启动时需要解析主机名至相应的IPV4
• [:port]：指定将连接请求所发往的此服务器时的目标端口，为可选项，未设定时，将使用客户端请求时的同一个端口
• [param]：此服务器设定的一系列参数，其可用的参数非常多，具体参考官方文档
  服务器或默认服务器参数
  backup：设定备用服务器，仅在负载均衡场景中的其它server均不可用时启用此server
  check：启动对此server执行健康状态检查，其可以借助于额外的其它参数完成更精细的设定，如
  inter ：设定健康状态检查的时间间隔，单位为毫秒，默认2000，可以使用fastinter和downinter来根据服务器端状态优化此时间延迟
  rise ：设定健康状态检查中，其离线的server从离线状态转换到正常状态需要成功检查的次数
  fall ：确认server从正常状态转换为不可用状态需要检查的次数
  cookie ：指定server设定cookie值，此处指定的值将在请求入站时被检查，第一次为此值挑选的server将在后续的请求中被选中，其目的在于实现持久连接的功能
  maxconn ：指定服务器接受的最大并发连接数，如果发往此服务器的连接数目高于此处指定的值，其将被放置于请求队列，以等待其它连接被释放
  maxqueue ：设定请求队列的最大长度
  observe ：通过观察服务器的通信状况来判定其健康状态，默认为禁用，其支持的类型有layer4和layer7,layer7仅限http场景
  redir ：启用重定向功能，将发往此服务器的GET和HEAD请求均以302状态码响应，需要注意prefix后面不能使用/，且不能使用相对路径，以免造成循环
  weight ：权重，默认为1，最大值为256，0表示不参与负载均衡

• capture request header in
  捕获并记录指定的请求首部最近一次出现时的第一个值，仅能用于"frontend"和"listen"区段，捕获的首部值使用{}括起来添加进日志中，如果需要捕获多个首部值，它们将指定的次序出现在日志文件中，并以竖线"|"作为分隔符，不存在的首部记录为空字符串，最常需要捕获的首部包括虚拟主机环境中的host,上传请求首部中的Content-length,快速区别其实用户和网络机器人的user-agent，以及代理环境中记录真实请求来源的X-forward-for
  ：捕获的首部的名称，此名称不区分字符大小写，建议与它们出现在首部中的格式相同，比如大写首字母，记录在日志中的是首部相应的值，而非首部名称
  ：指定记录首部值时所记录的精确长度，超出的部分将被忽略
  可捕获的请求首部的个数没有限制，但每个捕获最多只能记录64个字符，为了保证同一个frontend中日志格式的统一性，首部捕获仅能在frontend中定义
• capture response header len
  捕获并记录响应首部，格式和要点同请求首部
• stats enable
  启用基于程序编译时默认设定的统计报告，不能用于frontend区段
  stats uri :/haproxy?stats
  stats realm : “HaProxy Statistics”
  stats auth :no authentication
  stats scope :no restriction
  配合其它参数使用
  backend public_www
  server websrv 192.168.0.135:80
  stats enable
  stats hide-version
  stats scope
  stats uri :/haproxyadmin?stats
  stats realm : “HaProxy \ Statistics”
  stats auth :statsadmin:password
  stats auth :statsmaster:password
• stats hide-version
  启用统计报告并隐藏haproxy版本报告，不能用于frontend区段，默认情况下，统计页面会显示一些有用信息，包括haproxy版本号，向所有人公开haproxy的精确版本号是非常有风险的，它能帮助恶意用户快速定位版本的缺陷和漏洞，
• stats realm
  启用统计报告并高精认证领域，不能用于frontend区段，haproxy读取realm时会将其作一个单词，中间的任何空白字体都使用反斜线进行黑底，此参数仅在与 stats auth配置使用时有意义
  ：实现HTTP基本认证时显示在浏览器中的领域名称，用于提示用户输入一个用户名和密码
• stats scope { | ‘.’ }
• stats admin { if | unless }
  在指定条件满足时启用统计报告页面的管理级别功能，它允许通过web接口启用或禁用服务器，不过，基于安全的角度考虑，统计报告页面应该尽可能为只读，如果启用了haproxy的多进程模式，启用此管理级别将有可能导致异常
  目前来说POST请求方法被限制于仅能使用缓冲区减去保留部分之外的空间，因此，服务列表不能过长，否则此请求将无法正常工作，因此，建议一次仅调整少数几个服务器，下面是两个案例，第一限制了仅能在本机打开报告页面时启用管理级别功能，第二个定义了仅允许通过认证的用户使用管理级别功能
  backend stats_localhost
  stats enable
  stats admin if LOCALHOST

backend stats_auth
stats enable
stats auth haproxyadmin:password
stats admin if TRUE

• option httplog [clf]
  启用记录HTTP请求，会话状态和计时器的功能
  clf：使用clf格式替代haproxy默认的http格式，通常在使用仅支持CLF格式的特定日志分析器时才需要使用此格式
  默认情况下，日志输入格式非常简陋，因为其仅包括源地址，目标地址和实例名称，而option httplog参数将会使用得日志格式变得丰富，通常包括不限于HTTP请求，连接计时器，会话状态，连接数，捕获的首部及cookie,frontend,backend及服务器名称，也包括源地址，端口等

• option logasap | no option logasap
  启用或禁用提前将HTTP请求记入日志，不能用于backend区段
  默认情况下，HTTP请求是在请求结束时进行记录以便能其整体传输时长和字节记入日志，由此，传较大的对象时，其记入日志的时长可能会略有延迟，option logasap参数能够在服务器发送complete首部时即时记录日志，只不过，此时将不记录整体传输时长和字节数，在些情形下，捕获Content-Length响应首部来记录传输的字节数是一个较好选择，下面为一个例子：
  listen http_proxy 0.0.0.0:80
  mode http
  option httplog
  option logasap
  log 192.168.0.135 local2

• option forwardfor [except ] [header ] [ if-none]
  允许在发住服务器的请求首部中插入X-Forward-For首部

• ：可选参数，当指定时，源地址为匹配至此网络中的请求禁用此功能
• ：可选参数，可使用一个自定义的首部，如X-Client来替代X-forward-for,有些独特的web服务器需要一个独特的首部
• if-none：仅在此首部不存在时才将其添加至请求报文中
  Haproxy工作于反向代理模式，发住服务器的请求中的客户端IP为Haproxy主机的地址而非真正客户端的地址，这会使服务器的日志信息记录不了真正的请求来源，x-forward-for首部则可用于解决此问题，haproxy可以向每个发往服务器的请求上添加此首部，并以客户端IP为其value
  注：haproxy工作于隧道模式，仅检查每一个连接的第一个请求，仅第一个请求报文被附加此首部，如果想为每一个请求都附加首部，请确保同时使用了option httpclose,option forceclose和option http-server-close几个option
  frontend www
  mode http
  option forwardfor except 127.0.0.1

• errorfile
在用户请求不存在的页面时，返回一个页面文件给客户端而非由haproxy生成的错误代码，可用于所有段中
：指定对HTTP的哪些状态返回指定的页面，这里可用状态码有200，400，403，500，502，503，504
：指定用于响应的页面文件
errorfile 400 /etc/haproxy/errorpages/400badreq.http

• errorloc 和 errorloc302
  errorloc
errorloc302
请求错误时，返回一个HTTP重定向至某URL的信息，可用于所有配置段中
：指定对HTTP的哪些状态码返回指定的页面，这里可用状态码有200，400，403，500，502，503，504
：location首部中指定的页面位置的具体路径，可以是当前服务器上的页面相对路径，也可以是绝对路径，如果URI自身错误时产生其特定状态码信息的话，将会导致循环定向。
注：这两个关键字都会返回302状态码，将使得客户端使用同样的HTTP方法获取指定的URL，对于非GET方法的场景来说会产生问题，因为返回客户的URL是不会允许使用GET以外的其它方法，如果有这种问题，可以考虑使用errorloc303来返回303状态码给客户端

配置Haproxy

#修改rsyslog配置文件/etc/rsyslog.conf
#添加以下行信息，通过rsyslog来记录haproxy日志
local2.*                       /var/log/haproxy.log
#/etc/haproxy/haproxy.cfg配置信息
global
    log         127.0.0.1 local2
    chroot      /var/lib/haproxy
    pidfile     /var/run/haproxy.pid
    maxconn     4000
    user        haproxy
    group       haproxy
    daemon
    stats socket /var/lib/haproxy/stats
defaults
    mode                    http
    log                     global
    option                  httplog
    option                  dontlognull
    option http-server-close
    option forwardfor       except 127.0.0.0/8
    option                  redispatch
    retries                 3
    timeout http-request    10s
    timeout queue           1m
    timeout connect         10s
    timeout client          1m
    timeout server          1m
    timeout http-keep-alive 10s
    timeout check           10s
    maxconn                 3000
listen stats
    mode  http
    bind *:1080
    stats enable
    stats hide-version
    stats uri    /haproxyadmin?stats
    stats realm  Haproxy\ Statistics
    stats auth   admin:admin
    stats admin  if TRUE
frontend web
    bind *:80
    mode http
    log global
    option httpclose
    option logasap
    option dontlognull
    capture request header Host len 20
    capture request header Referer len 60
    default_backend servers
backend servers
    balance roundrobin
    server web1 192.168.0.135:80 check maxconn 4000
    server web2 192.168.0.136:80 check maxconn 3000

通过http://192.168.0.138:1080/haproxyadmin?stats可以查看haproxy监听的状态