[大数据]redis的hyperloglog

什么是基数？
A{1,3,5,7,8,7}
B{1,3,5,7,8}

基数就是不重复的元素个数=5，可以接受误差

hyperloglog简介

Redis2.8.9 版本就更新了hypeloglog数据结构

redis hyperloglog 基数统计的算法

使用场景

网页的UV网页的访问量（一个人访问一个网站多次，但是还是算作一个人）

传统的方式，set保存用户的id，然后就统计set中的元素数量作为标准判断。这种方式如果保存大量的用户id，会很耗内存。我们的目的是为了技术，而不是保存用户id。

hyperloglog会有0.81%错误率！统计UV任务，可以忽略不计的。

优点

占用的内存是固定的，2^64不同的元素的基数，只需要费12kb内存！从内存角度来比较的话，hyperloglog是首选！

测试

127.0.0.1:6379> pfadd mykey a b c d e f g h i j  #创建第一组元素mykey
(integer) 1
127.0.0.1:6379> pfcount mykey  #统计mykey元素的基数数量
(integer) 10
127.0.0.1:6379> pfadd mykey2 i j z x c v b n m  
(integer) 1
127.0.0.1:6379> pfcount mykey2
(integer) 9
127.0.0.1:6379> pfmerge mykey3 mykey mykey2  #合并两组mykey mykey2=> mykey3 并集
OK
127.0.0.1:6379> pfcount mykey3
(integer) 15

如果允许容错，那么一定可以使用hyperloglog
如果不允许容错，就使用set或者自己的数据类型即可