概述
- 高可用集群基础
- master复制数据到slave
- master：读写，写为主；多slave
- slave：读，写禁止，唯一master
- 可利用负载均衡提高并发和吞吐量
工作流程
- 建立连接
- 数据同步
- 命令传播（反复同步）
1. 建立连接
目的
建立master和slave的连接
最终态
- slave：保存master的地址与端口
- master：保存slave的端口
- 两者之间：创建了连接的socket
步骤
- 设置master的地址和端口，保存master信息②③
- 建立socket连接④
- 发送ping命令（定时器任务，keep alive）⑤⑥
- 身份验证⑦⑧
- 发送slave端口信息，主从连接成功！⑨⑩
Master信息
127.0.0.1:6380> info replication
#Replication
role:master
connected_slaves:1
slave0:ip=192.168.21.11,port=6379,state=online,offset=113722,lag=1
master_replid:ad1130ef440dfbfe532bc230897b27585458d153
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:113722
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:1
repl_backlog_histlen:113722
Slave信息
127.0.0.1:6379> info replication
#Replication
role:slave
master_host:192.168.21.12
master_port:6380
master_link_status:up
master_last_io_seconds_ago:4
master_sync_in_progress:0
slave_repl_offset:113862
slave_priority:100
slave_read_only:1
connected_slaves:0
master_replid:ad1130ef440dfbfe532bc230897b27585458d153
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:113862
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:1
repl_backlog_histlen:113862
身份验证
- 配置文件方式
- Master: requirepass < password>
- Slave: masterauth < password>
- 启动后方式
- Master: config set requirepass < password>
config get requirepass- Slave: auth < password>
- slave启动服务器设置密码
redis-server –a < password>
连接配置方式
- Slave端命令
slaveof < masterip> < masterport>
- Master端启动命令设定参数
redis-server -slaveof < masterip> < masterport>
- Slave端使用配置文件
[root@worker-01 redis-6.0.6]# vim redis-6379.conf
daemonize no
dir /root/redis-6.0.6/data
#logfile “6380.log”
slaveof 192.168.21.12 6380
2. 数据同步
目的
- 在slave初次连接master后，复制master中的所有数据
- 后续将slave的数据库状态更新成master当前的数据库状态
最终态
- slave：具有master端全部数据，包含RDB过程中接收的数据
- master：保存slave当前数据同步的位置
- 完成了数据克隆
步骤
- 请求同步数据①
- 创建RDB同步数据②③④
- 恢复RDB同步数据⑤
- 请求部分同步数据⑥⑦
- 恢复部分同步数据，数据同步工作完成！⑧
注意:
- Redis最初用sync命令，2.8以后改为psync，4.0以后升级为psync2
- 整个同步过程在⑧完成后就结束了
注意事项
- Master
- 如果数据量巨大，数据同步阶段应避开流量高峰期
- 复制缓冲区大小设定不合理，会导致数据溢出
- 全量复制周期太长，进行部分复制时发现数据已存在丢失的情况，必须进行第二次全量复制，致使slave陷入死循环状态
- 设置命令 repl-backlog-size 1mb
- master单机内存占用主机内存的比例不应过大，建议使用50%-70%的内存，留下30%-50%的内存用于执行bgsave命令和创建复制缓冲区
- Slave
- 为避免slave进行全量复制、部分复制时服务器响应阻塞或数据不同步，建议关闭此期间的对外服务: slave-serve-stale-data yes|no
- 数据同步阶段，master发送给slave信息可以理解master是slave的一个客户端，主动向slave发送命令
- 多slave同时对master请求数据同步，master发送的RDB文件增多，会对带宽造成巨大冲击，如果master带宽不足，因此数据同步需要根据业务需求，适量错峰
- slave过多时，建议调整拓扑结构，由一主多从结构变为树状结构，中间的节点既是master，也是slave。注意使用树状结构时，由于层级深度，导致深度越高的slave与最顶层master间数据同步延迟较大，数据一致性变差，应谨慎选择
3. 命令传播阶段
目的
- master数据库状态被修改后，导致主从服务器数据库状态不一致，此时需要让主从数据同步到一致的状态，同步的动作称为命令传播
- master将接收到的数据变更命令发送给slave，slave接收命令后执行命令
- 反复同步
网络故障时
- 闪断：忽略
- 长时间中断：全量复制
- 短时间中断：部分复制
部分复制的几个概念
- Runid
redis的运行服务器id，随机40位16进制，识别master身份
- master的命令复制积压缓冲区
- FIFO队列
- 创建：
- AOF开启时
- 成为master时
- 所有指令进入复制缓冲区
- 偏移量offset
复制缓冲区的元素指针
例如：set name cisco
在复制缓冲区转换为
$3\r\n
set\r\n
$4\r\n
name\r\n
$5\r\n
cisco\r\n
存储形式：
… 1021 1022 1023 1024 1025 1026 1027 … … $ 3 \r \n s e t …
offset[3]就是1022
心跳机制
- 命令传播阶段，master与slave间需进行信息交换，使用心跳机制进行维护，实现双方连接保持在线
- master心跳：
- 指令：PING
- 周期：由repl-ping-slave-period决定，默认10秒
- 作用：判断slave是否在线
- 查询：INFO replication 获取slave最后一次连接时间间隔，lag项维持在0或1视为正常
- slave心跳
- 指令：REPLCONF ACK {offset}
- 周期：1秒
- 作用1：汇报slave自己的复制偏移量，获取最新的数据变更指令
- 作用2：判断master是否在线
- 当slave多数掉线，或延迟过高时，master为保障数据稳定性，将拒绝所有信息同步操作
如：
min-slaves-to-write 2
min-slaves-max-lag 8
表示：slave数量少于2个，或者所有slave的延迟都大于等于10秒时，强制关闭master写功能，停止数据同步
- slave数量和延迟由slave发送REPLCONF ACK命令做确认
数据同步和命令传播阶段的全过程
