IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> (四)Redis事务+删除策略 -> 正文阅读

[大数据](四)Redis事务+删除策略

目录

一、Redis事务

1、Redis事务的定义

2、事务的基本操作

3、事务操作的基本流程

4、事务操作的注意事项

5、基于特定条件的事务执行

二、删除策略

1、时效性数据的存储结构

2、三种删除策略

3、逐出算法


一、Redis事务

1、Redis事务的定义

redis事务就是一个命令的执行的队列,将一系列预定义命令包装成一个整体(一个队列)。当执行时,一次性按照添加顺序依次执行,中间不会被打断或者干扰

2、事务的基本操作

  • 开启事务

    ?multi
    • 作用:作为事务的开启位置,此指令执行后,后续的所有指令均加入到事务中

  • 取消事务

    ?discard
    • 作用:终止当前事务的定义,发生在multi之后,exec之前

  • 执行事务

    ?exec
    • 作用:设定事务的结束位置,同时执行事务。与multi成对出现,成对使用

3、事务操作的基本流程

4、事务操作的注意事项

定义事务的过程中,命令格式输入错误怎么办?

  • 语法错误

    • 指命令书写格式有误 例如执行了一条不存在的指令

  • 处理结果

    • 如果定义的事务中所包含的命令存在语法错误,整体事务中所有命令均不会执行。包括那些语法正确的命令

定义事务的过程中,命令执行出现错误怎么办?

  • 运行错误

    • 指命令格式正确,但是无法正确的执行。例如对list进行incr操作

  • 处理结果

    • 能够正确运行的命令会执行,运行错误的命令不会被执行

注意:已经执行完毕的命令对应的数据不会自动回滚,需要程序员自己在代码中实现回滚。

5、基于特定条件的事务执行

5.1 锁

  • 对 key 添加监视锁,在执行 exec 前如果 key 发生了变化,终止事务执行

    ?watck  key1,key2......
  • 取消对所有 key 的监视

    ?unwatch

5.2 分布式锁

  • 使用 setnx 设置一个公共锁

    ?//上锁
    ?setnx  lock-key  value
    ?//释放锁
    ?del  lock-key
    • 利用 setnx 命令的返回值特征。有值(被上锁了)则返回设置失败,无值(没被上锁)则返回设置成功

    • 操作完毕通过del操作释放锁

    注意:上述解决方案是一种设计概念,依赖规范保障,具有风险性

5.3 分布式锁加强

  • 使用 expire 为锁 key 添加时间限定,到时不释放,放弃锁

    ?expire  lock-key  seconds
    ?pexpire lock-key  milliseconds
    • 由于操作通常都是微秒或毫秒级,因此该锁定时间不宜设置过大。具体时间需要业务测试后确认。

      • 例如:持有锁的操作最长执行时间127ms,最短执行时间7ms。

      • 测试百万次最长执行时间对应命令的最大耗时,测试百万次网络延迟平均耗时

      • 锁时间设定推荐:最大耗时120%+平均网络延迟110%

      • 如果业务最大耗时<<网络平均延迟,通常为2个数量级,取其中单个耗时较长即可

二、删除策略

1、时效性数据的存储结构

  • Redis中的数据,在 expire 中以哈希的方式保存在其中。其 value 是数据在内存中的地址,filed 是对应的生命周期

数据删除策略的目标

在内存与CPU占用之间寻找一种平衡,顾此失彼都会造成整体redis性能的下降,甚至引发服务器宕机或内存泄露

2、三种删除策略

2.1 定时删除

  • 创建一个定时器,当key设置优过期时间,且过期时间到达时,由定时器任务立即执行对键的删除操作

  • 优点:节约内存,到时间就删除,快速释放不必要的内存占用

  • 缺点:CPU压力很大,无论CPU此时负载量多高,均占用CPU,会影响redis服务器响应时间和指令吞吐量

  • 总结:用处理器性能换取存储空间(那时间换空间

2.2 惰性删除

  • 数据达到过期时间,不做处理。等下次访问该数据时

    • 如果未过期,返回数据

    • 发现已过期,删除,返回不存在

  • 优点:节约CPU性能,发现必须删除的时候才删除

  • 缺点:内存压力很大,出现长期占用内存的数据

  • 总结:用存储空间换取处理器性能 (拿空间换时间)

2.3 定期删除

  • 周期性轮询redis库中的时效性数据,采用随机抽取的策略,利用过期数据占比的方式控制删除频度

  • 特点1:CPU性能占用设置有峰值,检测频度可自定义设置

  • 特点2:内存压力不是很大,长期占用内存的冷数据会被持续清理

  • 总结:周期性抽查存储空间 (随机抽查,重点抽查)

3、逐出算法

当新数据进入redis时,如果内存不足怎么办?

  • Redis使用内存存储数据,在执行每一个命令前,会调用freeMemoryIfNeeded()检测内存是否充足。如果内存不满足新加入数据的最低存储要求,redis要临时删除一些数据为当前指令清理存储空间。清理数据的策略称为逐出算法

  • 注意:逐出数据的过程不是100%能够清理出足够的可使用的内存空间,如果不成功则反复执行。当对所有数据尝试完毕后,如果不能达到内存清理的要求,将出现错误信息。

影响数据逐出的相关配置

  • 最大可使用内存

    ?maxmemory

    占用物理内存的比例,默认值为0,表示不限制。生产环境中根据需求设定,通常设置在50%以上。

  • 每次选取待删除数据的个数

    ?maxmemory-samples

    选取数据时并不会全库扫描,导致严重的性能消耗,降低读写性能。因此采用随机获取数据的方式作为待检测删除数据

  • 删除策略

    ?maxmemory-policy

    达到最大内存后,对被挑出来的数据进行删除的策略

影响数据逐出的相关配置

数据逐出策略配置依据

  • 使用INFO命令输出监控信息,查询缓存 hit 和 miss 的次数,根据业务需求调优Redis配置

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2022-09-30 00:59:31  更:2022-09-30 01:02:39 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/23 5:37:47-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码