IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 数据结构与算法 -> Redis-dict字典底层实现 -> 正文阅读

[数据结构与算法]Redis-dict字典底层实现

概览

Redis 本质是 K-V 键值对数据库,底层通过字典 dict 存储键值映射关系,除此之外,dict 还作为 Redis hash 结构底层的实现之一。

讨论 Redis 的数据结构,可以从两个层面出发。

第一个层面从使用者角度出发,即 Redis 暴露给外部调用的 Api:

  • string
  • list
  • hash
  • set
  • sorted set

第二个层面是 Redis 的内部实现角度出发,是更为底层的数据结构实现:

  • dict
  • sds
  • ziplist
  • quicklist
  • skiplist

Redis 这么做的目的还是基于高性能的考虑,在不同的场景下使用不同的底层数据结构实现,最大程度提升内存操作的效率。

例如当 sorted set,hash 存储的数据规模较小时,底层都是通过 ziplist 实现,而当数据规模达到一定量时,sorted set 会转换成 dict + skiplist 的底层实现,hash 会转换成 dict 的底层实现。

本文主要讨论是 Redis 关于 dict 这一底层数据结构的实现原理。

实现

dict 的实现与 java jdk 中 hashmap 的实现有许多相似之处:

  • 关于哈希映射,key 的索引计算公式为 hash & (n - 1),其中 hash 为 key 对应的 hash 值(Redis 通过 MurmurHash 算法计算得出),n 为哈希数组的大小
  • 关于哈希冲突,Redis 同样也是采用链地址法解决冲突

dict 在扩缩容的情况下,采用的是渐进式的 rehash 方式,这是它的特殊之处,下文会主要讲到。

dict 的数据结构如下:

  • type属性是一个指向dictType结构的指针,每个dictType结构保存了一簇用于操作特定类型键值对的函数,Redis会为用途不同的字典设置不同的类型特定函数
  • privdata属性则保存了需要传给那些类型特定函数的可选参数
  • ht[2] 数组中存放了两张哈希表,只有在 rehash 的过程中,ht[0] ht[1] 才都有效;正常情况下只有 ht[0] 有效,ht[1] 中没有任何数据
  • rehashidx 用来表示 rehash 过程到了哪一个索引位置,正常情况下 rehashidx = -1,表示当前没有进行 rehash

dictht 的数据结构如下:

  • dictEntry 数组,用来存放键值对
  • size 表示当前 dictEntry 数组的大小
  • sizemask,值为 size - 1,在计算 key 的索引位置时用到, index = hash & sizemask
  • used 记录现有 dict 的数据个数

正常情况下,dict 整体的数据结构如下图所示:

rehash

随着操作不断执行,哈希表中的键值对会逐渐增加或减少,为了让哈希表的负载因子(负载因子 = 已保存节点数量/哈希表大小)维持在一个合理的范围内,当哈希表中节点数量过多或者过少时,Redis 会对哈希表进行相应的扩容或缩容,这一过程称为 rehash。

在 rehash 操作开始前,首先要为哈希表 ht[1] 分配内存,ht[1] 之前一直是空闲状态,终于要派上用场了,具体内存分配策略如下:

  • 如果是扩容操作,ht[1]的大小为第一个大于等于ht[0].used*2的2^n(2的n次方幂),举个例子 ht[0].used = 5,触发了扩容操作,即 ht[1].size = 5 * 2 = 10,但 10 不符合 2^n 要求,则继续往下找到第一个符合要求的数 16,即 ht[1].size = 16
  • 如果是缩容操作,ht[1]的大小为第一个大于等于ht[0].used的2^n(2的n次方幂),举个例子 ht[0].used = 5,触发了缩容操作,则 ht[1].size = 8

ht[1] 分配完内存之后,接着进行如下操作:

  • 将 ht[0] 的中的节点重新计算哈希值和索引值,映射到 ht[1] 上
  • 当ht[0]包含的所有键值对都迁移到了ht[1]之后(ht[0]变为空表),释放ht[0],将ht[1]设置为ht[0],并在ht[1]新创建一个空白哈希表,为下一次rehash做准备

哈希表触发扩容的时机如下:

  • 服务器目前没有在执行BGSAVE命令或者BGREWRITEAOF命令,并且哈希表的负载因子大于等于1
  • 服务器目前正在执行BGSAVE命令或者BGREWRITEAOF命令,并且哈希表的负载因子大于等于5,这么做的原因是避免在子进程存在期间进行哈希表扩容操作,从而避免不必要的内存写入操作,最大限度节省内存

负载因子的计算公式:

当负载因子小于 0.1 时,触发缩容操作。

渐进式rehash

值得注意的是 rehash 的过程,Redis 并不是一次性将所有元素集中式地 rehash 到 ht[1] 中,而是分多次,渐进式地完成。

这么做的原因是如果当哈希表中存放的键值对数量如果是千万级,甚至亿级,一次性完成所有键值的 rehash 操作,可能会导致 Redis 一段时间内对外不可用。

以下是渐进式 rehash 的具体步骤:

  • 为ht[1]分配空间,让字典同时持有ht[0]和ht[1]两个哈希表
  • 在字典中维持一个索引计数器变量rehashidx,并将它的值设置为0,表示rehash工作正式开始
  • 在rehash进行期间,每次对字典执行添删改查操作时,程序除了执行指定的操作以外,还会顺带将ht[0]哈希表在rehashidx索引上的所有键值对rehash到ht[1],当rehash工作完成之后,程序将rehashidx属性的值增一
  • 随着字典操作的不断执行,最终在某个时间点上,ht[0]的所有键值对都会被rehash至ht[1],这时程序将rehashidx属性的值设为-1,表示此次rehash操作已完成

下面展示一次完整 rehash 的过程,首先初始化 dict,准备开始 rehash;

rehashidx = 0,rehash 索引0对应的键值对,rehashidx + 1;

rehashidx = 1,rehash 索引1对应的键值对,rehashidx + 1;

rehashidx = 2,rehash 索引2对应的键值对,rehashidx + 1;

最终完成 rehash 过程。

  数据结构与算法 最新文章
【力扣106】 从中序与后续遍历序列构造二叉
leetcode 322 零钱兑换
哈希的应用:海量数据处理
动态规划|最短Hamilton路径
华为机试_HJ41 称砝码【中等】【menset】【
【C与数据结构】——寒假提高每日练习Day1
基础算法——堆排序
2023王道数据结构线性表--单链表课后习题部
LeetCode 之 反转链表的一部分
【题解】lintcode必刷50题<有效的括号序列
上一篇文章      下一篇文章      查看所有文章
加:2022-04-18 18:07:50  更:2022-04-18 18:11:42 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/26 7:47:33-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码