| |
|
开发:
C++知识库
Java知识库
JavaScript
Python
PHP知识库
人工智能
区块链
大数据
移动开发
嵌入式
开发工具
数据结构与算法
开发测试
游戏开发
网络协议
系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程 数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁 |
-> 大数据 -> Redis问题-缓存雪崩、击穿、穿透问题 -> 正文阅读 |
|
[大数据]Redis问题-缓存雪崩、击穿、穿透问题 |
缓存雪崩我们假设一个没钱的小公司,双十一的例子来说一说,假设在双十一这天,持续24小时的购物狂欢,必然会有大量的用户也就是大量的请求打入我们的服务器,为了提高响应速度,肯定是将某些热点数据放入到缓存中了,假设在这种情况下,用户每分每秒都有超过十万次的点击,持续二十四小时,如果我的所有热点数据的缓存时间设置的是三小时的话,三小时后大量的缓存同时失效,但是同时又有超过十万次的请求打入后台,那么缓存失效,请求就会全部转发到数据库,数据库承受不了这么大的并发,即使是集群,那也得很强大的集群才有可能抗住这次缓存失效带来的后果,这就是所谓的缓存雪崩,就像真正的雪崩一样一瞬间大量的雪滚落。 解决方案我们了解了缓存雪崩的具体过程,那么我们来思考一下解决方案。 假设我是故障处理人员,我会这么想,既然缓存雪崩是大面积的key在同一时间失效引起的,如果是没进行集群部署的话,那么我是不是直接将缓存过期时间随机,保证其不要在同一时间大面积失效就行了。 如果做了分布式集群,那么我们可以将缓存平均的存放到不同的节点的缓存中。 当然我们还可以想到最暴力的就是直接给缓存设置永不失效。 咱还可以使用定时任务,比如三小时失效时间,我们在失效前定时更新缓存,但是也会有瑕疵,万一缓存更新途中有大量请求到来,也没招。 限流策略(加锁,队列方式),本地缓存。 缓存穿透我们再来说一个例子,假设我是一个博客网站,目前网站就只有5篇文章,而且这5篇文章全部都放入缓存中。下面来看看这种情况,有无聊的人,截取了我们获取文章的api,并且不断的发送查找第6篇文章的请求,那么我们这虚无的第六篇文章数据库和缓存中都没有,这种情况就是缓存穿透了!导致我们每次都去缓存和数据库查询不存在数据,导致我们的数据库崩溃。 解决方案首先嗷,我们出现这种情况,问题最根本就是出现在了请求缓存与数据库中都不存在的数据。所以,首先想到的就应该是参数的校验,但是不能避免一大堆奇怪的参数,防不胜防; 进一步想,虽然数据库没对应数据,那么我们是不是可以把数据库每次穿透查询的结果给他丢到缓存中,那么下一次它用同样的参数来进行那就穿透不了了,但是万一这个攻击者他用的非法数据将缓存空间占满了,那也会造成缓存的崩溃。 那么再进一步,是不是我们可以去尝试直接将他的IP地址列入黑名单呢?可以这么做,就怕他换不同的ip地址。 那么以上的方法其实都有很大的漏洞,不能比较稳定的防止缓存穿透问题。 所以我们可以沿用至1970年诞生的一种叫做布隆过滤器的东西来比较稳定的防止缓存穿透问题。 缓存击穿我们可以这样理解,缓存雪崩就是超大面积的缓存击穿,所以就不多解释了。 解决方案因为缓存击穿是针对单个热点的key,所以我们上来就可以想到,我设置缓存永不过期呗,但是这样是不是一棒子打死了。所以我们寻找别的办法,既然缓存突然失效,许多请求打到数据库上,但是这是针对单个热点key,也就是说是针对某个api而不是一群api,那么我们可以再保证数据一致性的代码逻辑这一个地方尝试上锁,上互斥锁,这样出现缓存击穿情况的话,那么我们的请求肯定有一个是强到锁了,其它请求线程可以让他休眠几秒,这样可能无数个请求最终就化作一个请求去查询数据库,然后等查询完毕放入缓存之后,将锁放开,这时其它线程进入临界区再次判断去缓存中拿去数据,这时缓存中也有数据了,那么问题就解决了。而不是说同时请求数据库,但是这针对单体应用。 如果是分布式的话,就得上分布式锁了。 布隆过滤器它其实就是一个很长的二进制向量,一个二进制数组 存入过程:
查询过程:
删除过程:
我们可以看出,这种位图存储,如果是检测出他不存在,那就一定是不存在,但是如果是检测出他存在,那么也不一定存在。 使用引用一下IT老哥的图。 白名单:看了白名单模式,我们得到的信息就是我们得一开始就将key全部存入redis和布隆过滤器里,如果出现漏传,那么就可能会出现 a,b,c三个key只传了a,b,但是 c 也是合法的请求,但由于只加载了 a、b,所以合法请求会被拦截处理掉。 黑名单那肯定和白名单反过来,我自己理解的就是,如果发生一次缓存穿透,就将这次缓存穿透的非法参数存入布隆过滤器,有点乐观,发生了我再记录,再拦截。 ? 使用场景优点空间效率和查询时间都远远超过一般的算法,布隆过滤器存储空间和插入 / 查询时间都是常数O(k),因为他的插入只是找到数组对应下标出置一即可,和常规的数组插入不一样。 最重要的是,我们发现即使是敏感信息存入过滤器,也是010101,极大的增加了数据的保密性。 而且占用内存更小。 缺点我们不难想到,位图的位数也是有限的,如果有一天位图满了是不是误判率就上来了,虽然不太可能发生,但是数据量大起来的情况下,误判的风险也会随之增加。 而且我们上面也分析了,布隆过滤器的删除是一个很大的问题。 我又联想到一种极端情况:用户添加一条数据,然后删除,但是过滤器还存在,然后用这条数据去攻击,那过滤器也相当于失效了。 码云仓库同步笔记,可自取欢迎各位star指正:https://gitee.com/noblegasesgoo/notes
|
|
|
上一篇文章 下一篇文章 查看所有文章 |
|
开发:
C++知识库
Java知识库
JavaScript
Python
PHP知识库
人工智能
区块链
大数据
移动开发
嵌入式
开发工具
数据结构与算法
开发测试
游戏开发
网络协议
系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程 数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁 |
360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 | -2024/11/24 8:58:21- |
|
网站联系: qq:121756557 email:121756557@qq.com IT数码 |