IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> redis--bloomFilter -> 正文阅读

[大数据]redis--bloomFilter

需求:50亿个电话号码,查找10万个,判断10w个电话号码是否存在?
用bitmap/hyperloglog的话,亿级数据也是非常吃内存哟。

在这里插入图片描述

是个啥:

由一个初始值都为0的bit数组和多个哈希函数构成,用于快速判断某个数据是否存在。(多个hash函数,减少hash冲突概率)
本质:用于快速判断数据是否存在于一个大的集合中。类似set,但是统计结果不太准确。

特点:

1.插入查询高效,占空间少,返回结果不确定。
2.一个元素,存在时,bloom来判断它不一定就存在;但是不存在的,bloom来判断,结果一定不存在。(hash冲突)
3.可以添加元素,但是不能删除,删除导致误判率增大
4.误判只会发生在bloom没添加过的元素,添加过的元素不会误判

主要解决:

★1.缓存穿透

在这里插入图片描述
空对象缓存治标不治本!黑客短时间发送大量不同的、不存在的key的话,依旧会造成压力。

Google的guava解决缓存穿透(单机版)

Redis的bloom解决缓穿-Redisson(集群好用–推荐)

Rebloom-非业务代码方式实现的布隆,直接安装在redis服务器,相当一个redis插件

fpp(误差率)设置的不是越小越好,误判率低,空间占比大,同时执行效率也会降低。

解决缓存穿透流程:

在这里插入图片描述

业务:黑、白名单

在这里插入图片描述
在这里插入图片描述

2.黑白名单校验

在这里插入图片描述

原理:

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
这就是不能删除的原因:多个哈希函数对多个obj哈希运算时,有可能出现上图3号槽位的冲突,删除后俩对象都被删除,但实质上俩对象都是存在的,会被误判为俩对象不存在。
在这里插入图片描述

★★原理一句话总结:

1.初始化 。
在这里插入图片描述

2.添加元素至过滤器 (给存在于redis的数据按位打个0/1★标识★,并非把真实数据存入过滤器!)。
在这里插入图片描述

3.判断是否存在。
在这里插入图片描述

往redis存之后再存入bloom,只要bloom中有,没那么redis大概率也有,bloom有误判偶尔缓存穿透一两次无所谓;只要bloom判断没有,那么就不必去redis查了。

在这里插入图片描述

hash冲突的案例:

sout(“Aa”.hashcode());
sout(“BB”.hashcode());
2.
在这里插入图片描述

下一代:布谷鸟过滤器。可以删除,查询效率和空间利用率都优于bloom

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2021-10-23 12:34:35  更:2021-10-23 12:35:14 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/24 3:59:17-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码