IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> 缓存异常场景 -> 正文阅读

[大数据]缓存异常场景

前面讲了Redis高并发缓存架构性能优化,其中对于缓存穿透/失效以及缓存雪崩的部分进行了粗略的理解,下面看看八股文的理解,大家可以根据自身理解去记忆

缓存异常场景

缓存雪崩

缓存雪崩是指缓存同一时间大面积的失效,所以后面的请求都会落到数据库上,造成数据库短时间内承受大量请求而崩掉

解决方案

  • 缓存数据的过期时间设置随机,防止同一时间大量数据过期现象发生
  • 一般并发量不是特别多的时候,使用最多的解决方案就是加锁排队
  • 给每一个缓存数据增加相应的缓存标记,记录缓存的是否失效,如果缓存标记失效,就更新数据缓存

缓存穿透

缓存穿透是指缓存和数据库中都没有的数据,导致所有的请求都落到数据库上,造成数据库短时间内承受大量的请求而崩掉

解决方案

  • 接口层增加校验,如用户鉴权校验,id做基础校验,id<=0的直接拦截掉
  • 从缓存取不到的数据,在数据库也没有取到,这时可以将对应的key的值设置为空,缓存有效时间可以短点,比如30s,如果设置太长会导致正常情况也无法使用。这样可以防止攻击用户反复用同一个id暴力攻击
  • 采用布隆过滤器,将所有可能存在的数据哈希到一个足够大的bitmap中,一个一定不存在的数据会被这个bitmap拦截掉,从而避免了对底层村塾系统的查询压力

缓存击穿

缓存击穿是指缓存中没有但数据库中有的数据(一般是缓存时间到期),这时由于并发用户特别多,同时读缓存没有读到数据,又同时去数据库去取数据,引起数据库压力瞬间增大,造成过大压力。和缓存雪崩不同的是,缓存击穿指并发查同一条数据,缓存雪崩是不同数据都过期了,很多数据都查不到从而去查数据库

解决方案

  • 设置热点数据永远不过期
  • 加互斥锁

缓存预热

缓存预热是指系统上线后,将相关的缓存数据直接加载到缓存系统。这样就可以避免在用户请求的时候,先查询数据库,然后再将数据缓存的问题,用户直接查询实现被预热的缓存数据即可

解决方案

  • 直接写个缓存刷新页面,上线时手工操作一下
  • 数据量不大,可以在项目启动的时候自动进行加载
  • 定时刷新缓存

缓存降级

当访问量剧增,服务出现问题(比如响应时间慢或不响应)或非核心服务影响到核心流程的性能时,仍然需要保证服务还是可用的,即使是有损服务。系统可以根据一些关键数据进行自动降级,也可以配置开关实现人工降级

缓存降级的最终目的是保证核心服务客用户,即使是有损的。而且有些服务是无法降级的(比如加入购物车,结算)

在进行降级之前对系统进行梳理,看看系统是不是可以丢卒保帅,从而梳理出哪些必须誓死保护,哪些可以降级,比如可以参考日志级别设置预案

  • 一般: 比如有些服务偶尔因为网络抖动或者服务正在上线而超时,可以自动降级
  • 警告:有些服务在一段时间内成功率有波动(如在95~100%之间),可以自动降级或人工降级,并发送告警
  • 错误: 比如可用于低于90%,或者数据库连接池被打爆了,或者访问量突然猛增到系统能承受的最大阈值,此时可以根据情况自动降级或者人工降级
  • 严重错误: 比如因为特殊原因数据错误了,此时需要紧急人工降级。

服务降级的目的是为了防止Redis服务故障,导致数据库跟着一起发生雪崩问题。因此对于不重要的缓存数据,可以采取服务降级策略,例如一个比较常见的做法就是Redis出现问题,不去数据库查询,而是直接返回默认值给用户

热点数据和冷数据

热点数据,缓存才有价值

对于冷数据而言,大部分数据可能还没有再次访问到就已经被挤出内存,不仅占用内存,而且价值不大。频繁修改的数据,看情况考虑使用缓存

对于热点数据,比如某导航信息,某产品,缓存以后可能读取数百万次

数据更新前至少读取两次,缓存才有意义,这样是最基本的策略,如果缓存还没有起作用就失效了,那就没有太大价值了

那存不存在,修改频率很高,但是又不得不考虑缓存的场景呢? 有,比如这个读取接口对数据库的压力很大,但是又是热点数据,这个时候需要考虑通过缓存手段,减少数据库的压力,比如我们的某助手产品,点赞数,收藏数,分享数等是非常典型的热点数据,但是又不断变化,此时就需要将数据同步保存到Redis缓存,减少数据库压力

缓存热点key

缓存中的一个key,比如一个促销商品,在某个时间点过期的时候,恰好在这个时间点对这个key有大量的并发请求过来,这些请求发现缓存过期一般都会从后端DB加载数据并回设置到缓存,这个时候大并发的请求会瞬间把后端DB压垮

解决方案

  • 对缓存查询加锁,如果key不存就加锁,然后查DB入缓存,然后解锁,其他进程如果发现有锁就等待,然后等解锁后返回数据或者进入DB查询

总结

  • 缓存击穿:单个key过期,恰好大量请求访问这个key,然后穿过缓存落到了数据库
    • 设置热点数据永不过期
    • 使用互斥锁排队
  • 缓存雪崩:大量key同时失效,或者其他原因导致缓存不可用了,大量请求落到数据库
    • 缓存过期时间设置随机
    • 一般并发量不多时,使用互斥锁排队
    • 给缓存加标记,如果失效及时更新
  • 缓存穿透:缓存和数据库中都没有数据,穿过缓存全部落到数据库
    • 缓存空对象
    • 布隆过滤器
    • 网关校验拦截
  • 缓存预热:系统上线后,将相关缓存数据直接加载到缓存系统,这样可以避免用户直接先请求数据库,然后再将数据传给缓存的操作
    • 数据量不大的时候,项目启动时自动进行加载
    • 数据量大的时候,设置个定时任务脚本,进行缓存的刷新
    • 数据量太大的时候,写个缓存刷新页面,上线时手动操作
  • 缓存降级:降级的情况,就是缓存失效或者缓存服务挂掉的情况,我们也不去访问数据库,直接访问内存部分数据缓存或者直接返回默认数据
  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2022-05-11 16:30:44  更:2022-05-11 16:33:12 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/23 23:14:59-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码