IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> redis优化篇 -> 正文阅读

[大数据]redis优化篇

前言

本篇会从内存、数据存储、持久化、过期策略、集群、部署、业务等多个维度思考对redis的优化


写博客是自己对知识梳理,目前是写给自己看,算是自己学习后的作业,也是为了养成一个良好的习惯。

一、数据存储优化

1. 控制key的长度

	在保证key在简单、清晰的前提下,尽可能把key定义得短一些来控制key的长度,如 uerOreder:0001 缩写为uo:0001。
	建议:做好key规范管理的文档,定义好每个key缩写的含义。
如按以上规范来做当redis中有大量的key时也会节约redis大量的内存空间,使其性能更高。
	建议规范。

2. 控制元素的大小

在决定使用redis建议强制规定元素的大小,推荐规范如下:
	1. String类型数据的值控制在10K以下;
	2. List/Hash/Set/ZSet数据类型的元素要控制在1W以内。
以上的是杜绝bigkey有效措施,在bigkey对redis的性能影响是最为致命的。
强制规范。

3. 存储合适数据类型

	除非业务的强要求,建议选择合适的数据类型来优化内存,具体如下:
	1. StringSet:尽可能存储 int 类型数据;
	2. HashZSet:存储的元素数量控制在转换阈值之下,以压缩列表存储,节约内存。
	建议规范。
关于具体原因的可以参考下面这篇博客:

redis数据类型

4. 设置过期key

	强制要求所有的key必须设置过期时间,以优化redis内存。
	强制规范。

5. 冷热分离

	热key需要单独存放并分配合理的资源,防止大流量下直接冲垮整个缓存系统。
	强制规范。

6. 数据压缩

	可以采用snappy、gzip 等压缩算法来先将数据压缩后再存入缓存中,来节约redis的内存空间,
但这种方法会使客户端在读取时还需要解压缩,在这期间会消耗更多CPU资源,你需要根据实际情况进行权衡。
建议,只是在redis匮乏时的一种方案。

二、内存淘汰优化

	杜绝使用默认的内存淘汰策略,避免在业务扩展下Redis的内存持续膨胀,需要根据你的业务设置对应内存淘汰策略。
	强制规范。

三、过期策略优化

	由于redis采用的是定期删除+懒加载删除策略,且这个过程在redis 6.0之前是在主线程上执行的,
建议所有key的过期时间用随机数打散,杜绝大批量的数据同时过期,拉胯redis的性能和造成缓存雪崩。
	强制规范。
关于过期策略的具体的细节请参考我之前博客:

redis过期策略

四、持久化优化

	除非业务的强要求,否则不要开启AOF,避免写磁盘拖垮redis的性能。
	如果有业务要求开启AOF,建议配置为 appendfsync everysec 把数据持久化的刷盘操作,
放到后台线程中去执行,尽量降低 Redis 写磁盘对性能的影响。
	强制规范!
关于redis持久化的细节可以参考我之前写的博客:

redis持久化

五、部署优化

1. 物理机部署

	Redis在做数据持久化时,采用创建子进程的方式进行( 会调用操作系统的 fork 系统 ),而 虚拟机环境执行 fork 的耗时,要比物理机慢得多。
	强制规范!

2. 内网部署

	Redis集群有做副本数据同步,为了解决网络问题建议整个集群都部署在同一个局域网中。
	强制规范!

六、集群优化

1. 只使用db0

具体原因如下:
	1.在一个连接上操作多个db数据时,每次都会先执行查询,有额外开销;
	2.建议不同业务数据尽量存储到不同的实例中而不是存放在不同db中;
	3.redis cluster只支持db0。
强制规范!

2. 架构优化

	读写分离能最大限度提高redis的性能,其中主库负责数据写入,从库负责数据读取;分片集群是解决超大量数据导致性能瓶颈方案,如rediscluster。
以上是在大流量下提高redis性能在架构上的优化。
	建议规范!

3. 实例内存优化

	Redis集群有做副本数据同步,如果redis的内存过大,那么在做持久化或数据同步时,
磁盘IO和网络IO会拉垮redis性能,导致卡顿。
	建议redis每一个实例都不要超过8G,要从业务上解耦,不同的业务用不同的redis实例,
杜绝所有业务都使用同一个redis实例。
	强制规范!

七、其他优化

1. lazy-free机制

	在redis4.0+中支持,开启lazy-free机制后,由主线程删除bigkey,而较耗时的内存释放会在后台线程中执行,不会影响到主线程。
	强制规范!

2. 批量命令

	尽量减少客户端和服务端之间来回的io次数,建议string/hash使用mget/mset代替get/set,
hmget/hmset代替hget/hset;其他数据类型使用pipeline。
	建议规范!

3. 避免复杂度过高命令

	redis是单线程模型处理请求,在执行复杂度过高的命令(消耗更多cpu资源)时后面的请求会排队导致延迟,
如 SORT、SINTER、SINTERSTORE、ZUNIONSTORE、ZINTERSTORE 等聚合类命令。
	建议规范!

4. 注意容器类型数据

	1. 容器类型数据查询
		ist、hash、set、zset类型数据在查询时要先确认元素的数量,元素非常多时需要分批查询( LRANGE/HASCAN/SSCAN/ZSCAN ),
	否则大量数据会导致延迟(如网络传输问题等)。
	2. 容器类型数据删除
		建议分批删除,如list执行多次lpop/rpop;hash/set/zset先执行hscan/sscan/scan查询元素,
	再执行hdel/srem/zrem,不关注元素的数量直接del会有大量内存释放,拖垮主线程性能。
	建议规范!
  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2022-02-05 21:48:17  更:2022-02-05 21:48:24 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/24 12:44:16-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码