IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> 布隆过滤器BloomFilter -> 正文阅读

[大数据]布隆过滤器BloomFilter

通常我们会遇到要判断一个元素是否在某个集合中的业务场景,一般想到的是将集合中所有元素保存起来,然后通过比较确定。
链表、树、散列表(又叫哈希表,HashTable)等等数据结构都是这种思路。
但是随着集合中元素的增加,我们需要的存储空间也会呈现线性增长,最终达到瓶颈。同时检索速度也越来越慢,上述三种结构的检索时间复杂度分别为O(n),O(long),O(1)。
这个时候布隆过滤器(Bloom Filter)就应云而生。

布隆过滤器介绍:布隆过滤器BloomFilter实际上是一个很长的二进制数组+一系列随机hash算法映射函数,主要用于判断一个元素是否在集合中。
在这里插入图片描述
布隆过滤器特点:

  • 高效的插入和查询,占用空间少,返回的结果时不确定性的。
  • 一个元素如果判断结果为存在的时候元素不一定存在,但是判断结果为不存在的时候则一定不存在。
  • 布隆过滤器可以添加元素,但是不能删除元素,删除元素会导致误判率增加。
  • 误判只会发生在布隆过滤器没有添加过的元素,对于添加过的元素不会发生误判。

使用场景:

  • 解决缓存穿透问题

缓存穿透: Redis和数据库都不存在,每次查询都要访问数据库。
使用布隆过滤器解决缓存穿透问题: 把已存在数据的key存在布隆过滤器中,相当于Redis前面挡着一个布隆过滤器。当有新的请求时,先到布隆过滤器中查询是否存在,如果布隆过滤器中不存在该条数据则直接返回,如果布隆过滤器中存在,再去查询Redis,如果Redis中没有查询到则去查询数据库。

  • 黑名单校验

发现存在黑名单中的,就执行特定操作。比如:识别垃圾邮件,只要是邮箱在黑名单中的邮件,就识别为垃圾邮件。假设黑名单的数据是数以亿记的,存放起来就非常耗费存储空间的,布隆过滤器则是一个较好的解决方案。把所有黑名单都放在布隆过滤器中,在收到邮件时,判断邮件地址是否再布隆过滤器中即可。

布隆过滤器原理

布隆过滤器(Bloom Filter)是一种专门用来解决去重问题的高级数据结构。
实质就是 一个大型位数组和几个不同的无偏hash函数(无偏标识分布均匀)。由一个初值都为0的bit数组和多个哈希函数构成,用来判断某个数据是否存在。但是跟HyperLogLog一样,它也一样有那么一点点不精确,也存在一定的误判概率。

添加key时

使用多个hash函数对key进行hash运算得到一个整数索引值,对位数组长度进行取模运算得到一个位置,每个hash函数都会得到一个不同的位置,将这几个都设置1就完成了add操作。

查询key

只要查询有其中一位是0就表示这个key不存在,但如果都是1,则不一定存在对应的key.

结论:有,是可能有;无,是一定为。

当有变量被加入集合时,通过N个映射函数将这个变量映射成位图中的N个点,把他们设置为1(假设有两个变量都通过3个映射函数)。
在这里插入图片描述
查询某个变量的时候我们只需要看看这些点是不是都是1,就可以大概率知道集合中有没有它了。如果这些点,有任何一个为0则被查询的变量不存在,如何都是1,则被查询的变量很可能存在

为什么说是可能存在,而不是一定存在呢? 因为映射函数本身就是散列函数,散列函数是会发生碰撞的。

正事基于布隆过滤器的快速检测特性,我们可以在把数据写入数据库时,使用布隆过滤器做个标记。当缓存缺失后,应用查询数据库时,可以通过查询布隆过滤器快速判断数据是否存在。如果不存在,就不用再去数据库中查询了。这样一来,即使发生缓存穿透,大量的请求只会查询Redis和布隆过滤器,而不会积压到数据库,也就不会影响数据的正常运行。布隆过滤器可以使用Redis实现,本身就能承担较大的并发访问压力。

布隆过滤器的误判率,为什么删除后会增加误判率

布隆过滤器的误判是指多个输入经过哈希之后在相同的bit位设置1了,这样就无法判断究竟是那个输入产生的,因此误判的根源在于相同的bit位被多次映射且设置为1。
这种情况也造成了布隆过滤器的删除问题,因为布隆过滤器的每一个bit并不是独占的,很有可能多个元素共享了某一位。如果我们直接删除这一位的话,会影响其他的元素。

布隆过滤器特性:

  • 一个元素判断结果为没有时则一定没有,如果判断结果为存在的时候元素不一定存在。
  • 布隆过滤器可以添加元素,但是不能删除元素,因为删除元素会导致误判率增加。
  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章           查看所有文章
加:2022-05-19 11:58:28  更:2022-05-19 11:59:46 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/23 20:56:32-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码