简介:
- 全量同步:
- 主从第一次同步是全量同步
- 全量同步是master节点将自身RDB数据发送给slave
- 增量同步:
- slave重启后同步,执行增量同步
- 根据repl_baklog日志文件的命令,来同步更新slave上的数据
同步判定的重要条件
主从同步数据时,若第一次连接则是全量同步(因为从没有主的数据),若是续上之前的连接则是增量同步(从已经有部分主的数据)。那么master如何判断slave是第一次连接呢?需要用到replid和offset这两个概念
- Replication Id:简称replid,是数据集的标记,id一致则说明是同一数据集。每一个master都有唯一的replid,slave则会继承master节点的replid
- offset:偏移量,随着记录在repl_baklog中的数据增多而逐渐增大。slave完成同步时也会记录当前同步的offset。如果slave的offset小于master的offset,说明slave数据落后于master,需要更新。(就像一个进度条,通过对比主从机的offset,就知道从机是否需要更新数据)。不过offset也可能是之前其他主机上的同步进度,所以不能用来判断从机是否是第一次连接。通过id判断,第一次连接会拷贝主机的id和offset。
因此slave做数据同步,必须向master声明自己的replication id 和offset,master才可以判断到底需要同步哪些数据。
全量同步的步骤
1.第一阶段
slave连接请求master并发送自己的replid和offset,master收到请求后会先判断replid是否一致
- ????????若slave与master的replid一致,则说明从机不是第一次连接,则判断offset是否进行增量同步
- ????????若replid不一致,则说明是第一次同步,则master发送自己的id和offset给slave修改
2.第二阶段
maset主机会fork进行bgsave生成RDB,并发送RDB文件。
在bgsave执行过程中,对数据进行更新的操作都会记录到repl_baklog日志文档中。
- slave清空本地数据并加载RDB文件,实现数据基本一致
3.第三阶段
master发送repl_baklog日志文档,slave执行命令,实现数据全量同步完成
增量同步步骤
1.(第一阶段)当发现主从ID一致时,说明不是第一次连接,主机回复continue,进行增量同步
2.这里注意的是,repl_baklog是环形的结构,若master的offter一直追加,直到超过了绿色slave末尾,将未备份的master部分也给覆盖掉时,则就只能进行全量同步
3.一般没有覆盖的情况,master就根据slave的offter,发送后面的数据进行增量同步
总结
全量同步的触发
增量同步的触发
- slave节点断开又恢复,并且在repl_baklog中能找到offset时
区别
- 全量同步:master将完整内存数据生成RDB,发送RDB到slave。后续命令则记录在repl_baklog,逐个发送给slave。
- 增量同步:slave提交自己的offset到master,master获取repl_baklog中从offset之后的命令给slave
优化主从集群
可以从以下几个方面来优化Redis主从就集群:
- 在master中配置repl-diskless-sync yes启用无磁盘复制,避免全量同步时的磁盘IO。
- Redis单节点上的内存占用不要太大,减少RDB导致的过多磁盘IO
- 适当提高repl_baklog的大小,发现slave宕机时尽快实现故障恢复,尽可能避免全量同步
- 限制一个master上的slave节点数量,如果实在是太多slave,则可以采用主-从-从链式结构,减少master压力
|