一、背景
有三台master机器组成的apiserver服务，外部有若干台worker机器，worker机器通过阿里云的负载均衡可以正常访问apiserver。但是master机器如果想访问worker机器，由于阿里云负载均衡在四层上存在无法访问自己的缺陷，因此master内部机器访问apiserver无法实现负载均衡
二、设计
使用lvscare工具，通过ipvs实现四层负载均衡
三、原理
1.本次实验采用lvs-nat模型，即lvs服务器作为nat，链接client和realserver。
2.ipvs可以将目的地址修改为合适的后端地址，具体修改行为由调度算法决定，目前使用的是轮询算法
3.当ipvs修改目的地址后，数据包可以正常到达realserver，但是因为源地址和realserver不在同一网段，会被丢弃（通过tcpdump监听发现了不处理该数据包，猜测是被丢弃了）。此时需要添加iptables规则，将数据包源地址进行伪装，这样realserver就会发现数据包和自己在同一网段，就可以正常处理
4.要想ipvs能正常修改源地址，还需要修改conntrack为1。原理在这里
四、实施
1.添加虚拟网卡
ip link add dev my-ipvs type dummy
ip addr add 1.2.3.4 dev my-ipvs
2.添加ipvs规则
ipvsadm -A -t 1.2.3.4:80 -s rr
ipvsadm -a -t 1.2.3.4:80 -r 172.130.0.100 -m
ipvsadm -a -t 1.2.3.4:80 -r 172.130.0.101 -m
ipvsadm -a -t 1.2.3.4:80 -r 172.130.0.102 -m
3.设置iptables规则
iptables --line -vnL POSTROUTING -t nat
4.设置conntrack
sysctl net.ipv4.vs.conntrack=1
五、备注
1.如果不设置iptables规则，会因为1.2.3.4和realserver不在同一网段，而导致报文被丢弃
2.如果不设置conntrack，通过1.2.3.4出去的报文的源地址不会被正常修改为何目的地址同一网段地址，而导致网络不通
参考链接：http://www.dockone.io/article/9441
六、后记
曾经试过在设置ipvs的时候，VIP不存在于本机的情况，此时什么都不设置，通过VIP能访问realserver除了和VIP在同一台机器上的realserver，原因如下：
1.能访问除VIP机器上的realserver的其他realserver
此时流量直接走本地网卡，源地址也已经被修改为本地网卡地址，而本地网卡和其他realserver在同一局域网，因此可以直接访问
2.不能访问VIP机器上的realserver
用tcpdump抓包发现，访问VIP时，数据包走本地网卡，但是访问本机网卡地址或者访问回环地址，数据包都是走lo网卡，因此猜测本地网卡本身没有访问自己的功能（网上也没找到相关资料，只能是猜测），所以当ipvs将访问VIP的数据包修改后经由本地网卡发送出去，会没有响应
