IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> Redis的全量同步和增量 -> 正文阅读

[大数据]Redis的全量同步和增量

简介:

  • 全量同步:
    • 主从第一次同步是全量同步
    • 全量同步是master节点将自身RDB数据发送给slave
  • 增量同步:
    • slave重启后同步,执行增量同步
    • 根据repl_baklog日志文件的命令,来同步更新slave上的数据

同步判定的重要条件

主从同步数据时,若第一次连接则是全量同步(因为从没有主的数据),若是续上之前的连接则是增量同步(从已经有部分主的数据)。那么master如何判断slave是第一次连接呢?需要用到replidoffset这两个概念

  • Replication Id:简称replid,是数据集的标记,id一致则说明是同一数据集。每一个master都有唯一的replidslave则会继承master节点的replid
  • offset:偏移量,随着记录在repl_baklog中的数据增多而逐渐增大。slave完成同步时也会记录当前同步的offset。如果slaveoffset小于masteroffset,说明slave数据落后于master,需要更新。(就像一个进度条,通过对比主从机的offset,就知道从机是否需要更新数据)。不过offset也可能是之前其他主机上的同步进度,所以不能用来判断从机是否是第一次连接。通过id判断,第一次连接会拷贝主机的id和offset。

因此slave做数据同步,必须向master声明自己的replication id offsetmaster才可以判断到底需要同步哪些数据。

全量同步的步骤

1.第一阶段

slave连接请求master并发送自己的replidoffset,master收到请求后会先判断replid是否一致

  • ????????若slave与master的replid一致,则说明从机不是第一次连接,则判断offset是否进行增量同步
  • ????????若replid不一致,则说明是第一次同步,则master发送自己的id和offset给slave修改

2.第二阶段

maset主机会fork进行bgsave生成RDB,并发送RDB文件。

在bgsave执行过程中,对数据进行更新的操作都会记录到repl_baklog日志文档中。

  • slave清空本地数据并加载RDB文件,实现数据基本一致

3.第三阶段

master发送repl_baklog日志文档,slave执行命令,实现数据全量同步完成

增量同步步骤

1.(第一阶段)当发现主从ID一致时,说明不是第一次连接,主机回复continue,进行增量同步

2.这里注意的是,repl_baklog是环形的结构,若master的offter一直追加,直到超过了绿色slave末尾,将未备份的master部分也给覆盖掉时,则就只能进行全量同步

3.一般没有覆盖的情况,master就根据slave的offter,发送后面的数据进行增量同步

总结

全量同步的触发

  • slave节点第一次连接master节点时

  • slave节点断开时间太久,repl_baklog中的offset已经被覆盖时

增量同步的触发

  • slave节点断开又恢复,并且在repl_baklog中能找到offset

区别

  • 全量同步:master将完整内存数据生成RDB,发送RDBslave。后续命令则记录在repl_baklog,逐个发送给slave
  • 增量同步:slave提交自己的offsetmastermaster获取repl_baklog中从offset之后的命令给slave

优化主从集群

可以从以下几个方面来优化Redis主从就集群:

  • 在master中配置repl-diskless-sync yes启用无磁盘复制,避免全量同步时的磁盘IO。
  • Redis单节点上的内存占用不要太大,减少RDB导致的过多磁盘IO
  • 适当提高repl_baklog的大小,发现slave宕机时尽快实现故障恢复,尽可能避免全量同步
  • 限制一个master上的slave节点数量,如果实在是太多slave,则可以采用主-从-从链式结构,减少master压力

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2022-09-24 21:03:44  更:2022-09-24 21:06:40 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/23 9:55:06-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码