[大数据]Redis数据类型

业务数据的特殊性：

数据类型既然是用来描述数据的存储格式的，如果你不知道哪些数据未来会进入到我们来的redis中，那么对应的数据类型的选择就会出现问题

1. 原始业务功能设计

• 秒杀。他这个里边数据变化速度特别的快，访问量也特别的高，用户大量涌入以后都会针对着一部分数据进行操作，这一类要记住。
• 618活动、双11活动，相信大家不用说都知道这些数据一定要进去，因为他们的访问频度实在太高了。
• 排队购票，我们12306的票务信息。这些信息在原始设计的时候，他们就注定了要进redis。

2. 运营平台监控到的突发高频访问数据

此类平台临时监控到的这些数据，比如说现在出来的一个八卦的信息，这个新闻一旦出现以后呢，顺速的被围观了，那么这个时候，这个数据就会变得访量特别高，那么这类信息也要进入进去。

3. 高频、复杂的统计数据

• 在线人数。比如说直播现在很火，直播里边有很多数据，例如在线人数。进一个人出一个人，这个数据就要跳动，那么这个访问速度非常的快，而且访量很高，并且它里边有一个复杂的数据统计，在这里这种信息也要进入到我们的redis中。
• 投票排行榜。投票投票类的信息他的变化速度也比较快，为了追求一个更快的一个即时投票的名次变化，这种数据最好也放到redis中。

Redis数据类型：

基于以上数据特征我们进行分析，最终得出来我们的Redis中要设计5种 数据类型：
string、hash、list、set、sorted_set/zset（应用性较低）

Redis数据存储格式：

数据类型指的是存储的数据的类型，也就是value部分存类型，key 部分永远都是字符串。

String：

1. 存储的数据：单个数据，最简单的数据存储类型，也是最常用的数据存储类型。

string，他就是存一个字符串，注意是value那一部分是一个字符串，它是redis中最基本、最简单的存储数据的格式。

2. 存储数据的格式：一个存储空间保存一个数据

每一个空间中只能保存一个字符串信息，这个信息里边如果是存的纯数字，他也能当数字使用

3. 存储内容：通常使用字符串，如果字符串以整数的形式展示，可以作为数字操作使用.

一个key对一个value，而这个itzhuzhu就是我们所说的string类型，当然它也可以是一个纯数字的格式。

4. 基础指令格式：

添加/修改数据添加/修改数据

set key value

获取数据

get key

删除数据

del key

判定性添加数据(不存在再set)

setnx key value

添加/修改多个数据

mset key1 value1 key2 value2 …

获取多个数据

mget key1 key2 …

获取数据字符个数（字符串长度）

strlen key

追加信息到原始信息后部（如果原始信息存在就追加，否则新建）

append key value

5. 单数据操作与多数据操作的选择

操作影响的数据比较少的时候，可以用单指令，也可以用多指令。但是一旦这个量大了，你就要选择多指令了，他的效率会高一些。

假如现在的服务器，要向redis要数据的话，它会发出一条指令。那么当这条指令发过来的时候，比如说是这个set指令过来，那么redis它会把这个结果返回给你。首先，发送set指令要时间，这是网络的一个时间，接下来redis要去运行这个指令要消耗时间，最终把这个结果返回给你又有一个时间，这个时间又是一个网络的时间，那我们可以理解为：一个指令发送的过程中需要消耗这样的时间

但是如果说现在不是一条指令了，你要发3个set的话，还要多长时间呢？对应的发送时间要乘3了，因为这是三个单条指令,而运行的操作时间呢，它也要乘3了，但最终返回的也要发3次，所以这边也要乘3。

于是我们可以得到一个结论：单指令发3条它需要的时间，假定他们两个一样，是6个网络时间加3个处理时间，如果我们把它合成一个mset呢

假如说用多指令发3个指令的话，其实只需要发一次就行了。这样我们可以得到一个结论，多指令发3个指令的话，其实它是两个网络时间加上3个redis的操作时间，为什么这写一个小加号呢，就是因为毕竟发的信息量变大了，所以网络时间有可能会变长。

那么通过这张图，你就可以得到一个结论，我们单指令和多指令他们的差别就在于你发送的次数是多还是少。当你影响的数据比较少的时候，你可以用单指令，也可以用多指令。但是一旦这个量大了，你就要选择多指令了，他的效率会高一些。

string类型数据的扩展操作

string的扩展操作，分成两大块：一块是对数字进行操作的，第二块是对我们的key的时间进行操作的。

incr设置数值数据增加指定范围的值

# incr可以对数据进行增加，每次加1
incr key

# incrby可以对数据进行指定增加
incrby key increment

incrbyfloat key increment

# 例：
set num 1
incr num
get num
# 指定添加  设置每次添加数
incrby num 100

decr设置数值数据减少指定范围的值

# decr可以对数据进行减少，每次减1
decr key
decrby key increment

# 例：
set num 1
decr num
get num
decrby num 199999

设置数据具有指定的生命周期

# setex是设置秒  设置数字5 让它存活3秒（验证码就可以这么做）
setex key seconds value
# psetex是设置毫秒 
psetex key milliseconds value

# 例：
setex num 3 5
psetex num 180 5

string 类型数据操作的注意事项：

1. 数据操作不成功的反馈与数据正常操作之间的差异

表示运行结果是否成功

(integer) 0 → false 失败
(integer) 1 → true 成功

表示运行结果值

(integer) 3 → 3 3个
(integer) 1 → 1 1个

2. 数据未获取到时，对应的数据为（nil），等同于nul
3. 数据最大存储量：512MB
4. string在redis内部存储默认就是一个字符串，当遇到增减类操作incr，decr时会转成数值型进行计算
5. 按数值进行操作的数据，如果原始数据不能转成数值，或超越了redis 数值上限范围，将报错

9223372036854775807（java中Long型数据最大值，Long.MAX_VALUE）

6. redis所有的操作都是原子性的，采用单线程处理所有业务，命令是一个一个执行的，因此无需考虑并发带来的数据影响.

string应用场景与key命名约定：

应用场景：

它的应用场景在于：主页高频访问信息显示控制，例如新浪微博大V主页显示粉丝数与微博数量。

解决方案：

1. 在redis中为大V用户设定用户信息，以用户主键和属性值作为key，后台设定定时刷新策略即可。

eg:	user:id:3506728370:fans		→	12210947
eg:	user:id:3506728370:blogs	→	6164
eg:	user:id:3506728370:focuses	→	83

2. 也可以使用json格式保存数据

eg:	user:id:3506728370    →	{“fans”：12210947，“blogs”：6164，“ focuses ”：83 }

3. key 的设置约定

数据库中的热点数据key命名惯例

hash

数据存储的问题：

eg:	user:id:3506728370    →	{“fans”：12210947，“blogs”：6164，“ focuses ”：83 }
eg:	user:id:3506728371    →	{“fans”：22210947，“blogs”：6164，“ focuses ”：84 }
eg:	user:id:3506728372    →	{“fans”：32210947，“blogs”：6164，“ focuses ”：85 }

• 上面我们用以上形式存了差不数据，如果我们用单条去存的话，它存的条数会很多。但如果我们用json格式，它存一条数据就够了。问题来了，假如说现在粉丝数量发生变化了，你要把整个值都改了。但是用单条存的话就不存在这个问题，你只需要改其中一个就行了。这个时候我们就想，有没有一种新的存储结构，能帮我们解决这个问题呢。
• 看上面代码的格式，单条的话是对应的数据在后面放着。仔细观察：我们看左边是不是长得都一模一样啊，都是对应的表名、ID等的一系列的东西。我们把它一合并，并把右边的东西给他变成图里的格式不就行了吗
• 在右边对应的值，我们就存具体的值，那左边儿这就是我们的key。问题来了，那中间的这一块叫什么呢？这个东西我们给他起个名儿，叫做field字段。那么右边儿整体这块儿空间我们就称为hash，也就是说hash是存了一个key value的存储空间。

如上图所示，这种结构叫做hash，左边一个key，对右边一个存储空间。这里要明确一点，右边这块儿存储空间叫hash，也就是说hash是指的一个数据类型，他指的不是一个数据，是这里边的一堆数据，那么它底层呢，是用hash表的结构来实现的。

hash类型：

1. 新的存储需求：对一系列存储的数据进行编组，方便管理，典型应用存储对象信息
2. 需要的存储结构：一个存储空间保存多个键值对数据
3. hash类型：底层使用哈希表结构实现数据存储

• 如果field数量较少，存储结构优化为类数组结构
• 如果field数量较多，存储结构使用HashMap结构

值得注意的是：

如果field数量较少，存储结构优化为类数组结构

如果field数量较多，存储结构使用HashMap结构

hash类型数据的基本操作：

添加/修改数据

# hset key field value
hset user:111 name itzhuzhu
hset user:111 age 23

获取数据

# hget key field
hget user:111 name

# 获取全部
hgetall user:111

删除数据

# hdel key field1 [field2]
hdel user:111 name

设置field的值，如果该field存在则不做任何操作

# hsetnx key field value
hsetnx user:111 name itzhuzhu

添加/修改多个数据

# hmset key field1 value1 field2 value2 …
hmset user:123 a a1 b b1 c c1

获取多个数据

# hmget key field1 field2 …
hmget user:123 a b

获取哈希表中字段的数量

# hlen key
hlen user:111

获取哈希表中是否存在指定的字段

# hexists key field
 hexists user:123 a

获取哈希表中所有的key、value

# hkeys key 
 hkeys user:111
# hvals key
 hvals user:123 

设置指定字段的数值数据增加指定范围的值

# hincrby key field increment 
hmset h1 a 111 b 222
hincrby h1 a 100
# hincrbyfloat key field increment
# hincrbyfloat：加上指定浮点数增量值。如果指定的字段不存在，那么在执行命令前，字段的值被初始化为 0 
hincrbyfloat h1 a 1.11

hash类型数据操作的注意事项：

1. hash类型中value只能存储字符串，不允许存储其他数据类型，不存在嵌套现象。如果数据未获取到，对应的值为（nil）。
2. 每个 hash 可以存储2^32-1个键值对
3. hash类型十分贴近对象的数据存储形式，并且可以灵活添加删除对象属性。但hash设计初衷不是为了存储大量对象而设计 的，切记不可滥用，更不可以将hash作为对象列表使用。
4. hgetall 操作可以获取全部属性，如果内部field过多，遍历整体数据效率就很会低，有可能成为数据访问瓶颈。

hash应用场景：

双11活动日，销售手机充值卡的商家对移动、联通、电信的30元、50元、100元商品推出抢购活动，每种商品抢购上限1000 张。

也就是商家有了，商品有了，数量有了。最终我们的用户买东西就是在改变这个数量。

解决方案：

以商家id作为key

将参与抢购的商品id作为field

将参与抢购的商品数量作为对应的value

抢购时使用降值的方式控制产品数量

# 先添加点手机
hmset id:001 iphoneX 99 iphone11 99 iphone12 99
# 买个手机
hincrby id:001 iphone11 -1

list类型：

• 数据存储需求：存储多个数据，并对数据进入存储空间的顺序进行区分
• 需要的存储结构：一个存储空间保存多个数据，且通过数据可以体现进入顺序
• list类型：保存多个数据，底层使用双向链表存储结构实现
  • 顺序表只能从头指针开始添加数据、找数据
  • 链表可以从任意节点插入数据，但是找数据只能从头找
  • 双链表可以从任意节点插入数据，找数据也可以从头/尾开始，中间还能再回去，双链表的前后都会有一个区域存储上下的节点

两边都能同时操作数据

list类型数据基本操作：

添加/修改数据

# lpush key value1 [value2] …… l代表左边
lpush list1 a b c d
# rpush key value1 [value2] …… r代表右边
lrange list2 a b c d

获取数据

# lrange key 开始索引 结束索引 
lrange list1 0 -1

# 取出来的是倒序的，放数据的时候是栈结构：先进后出的原则
# lindex key index  查指定key/索引的数据
lindex list1 0

# llen  key  获取总长度
llen list1

获取并移除数据

# lpop key 这里取出来就不是查了，是取，取出来就没了
lpop list1
# rpop key
rpop list1

移除指定数据

# lrem key count value cout：删几个 value：删谁
lrem list1 1 a

规定时间内获取并移除数据

# blpop key1 [key2] timeout b代表时间.秒   一次只取一个
# 从list2取数据abcd，取到就返回，取不到返回nil,如果一个窗口取，另一个窗口添加也可以取到
blpop list2 a b c d 5

# brpop key1 [key2] timeout  这个和上面的一样，但是是从右边取
brpop list2 a b c d 5

# brpoplpush source destination timeout 从列表右边取元素放到另一个列表的头部
brpoplpush list3 list2 2

list类型数据操作注意事项：

1. list中保存的数据都是string类型的，数据总容量是有限的，最多2^32 - 1 个元素(4294967295)
2. list具有索引的概念，但是操作数据时通常以队列的形式进行入队出队操作，或以栈的形式进行入栈出栈操作
3. 获取全部数据操作结束索引设置为-1
4. list可以对数据进行分页操作，通常第一页的信息来自于list，第2页及更多的信息通过数据库的形式加载

应用场景：

企业运营过程中，系统将产生出大量的运营数据，如何保障多台服务器操作日志的统一顺序输出？

假如现在你有多台服务器，每一台服务器都会产生它的日志，假设你是一个运维人员，你想看它的操作日志，你怎么看呢？打开A机器的日志看一看，打开B机器的日志再看一看吗？这样的话你会可能会疯掉的！因为左边看的有可能它的时间是11:01，右边11:02，然后再看左边11:03，它们本身是连续的，但是你在看的时候就分成四个文件了，这个时候你看起来就会很麻烦。能不能把他们合并呢？建立起redis服务器。当他们需要记日志的时候，记在哪儿全部发给redis。等到你想看的时候，通过服务器访问redis获取日志。然后得到以后，就会得到一个完整的日志信息。那么这里面就可以获取到完整的日志了，依靠什么来实现呢？就依靠我们的list的模型的顺序来实现。进来一组数据就往里加，谁先进来谁先加进去，它是有一定的顺序的。

解决方案：

1. 依赖list的数据具有顺序的特征对信息进行管理
2. 使用队列模型解决多路信息汇总合并的问题
3. 使用栈模型解决最新消息的问题

rpush logs a:1 
rpush logs b:2 
rpush logs c:3
lrange logs 0 -1

set类型：

1. 新的存储需求：存储大量的数据，在查询方面提供更高的效率
2. 需要的存储结构：能够保存大量的数据，高效的内部存储机制，便于查询
3. set类型：与hash存储结构完全相同，仅存储键，不存储值（nil），并且值是不允许重复的
   

set类型数据的基本操作：

添加数据

# sadd key member1 [member2]
sadd set1 a b c 

获取全部数据

# smembers key 取出来的数据是无序的
smembers set1

删除数据

# srem key member1 [member2]
srem set1 a b c

获取集合数据总量

# scard key
scard set1

判断集合中是否包含指定数据

# sismember key member
sismember set1 c

随机获取集合中指定数量的数据

# srandmember key [count]
srandmember set1 5

随机获取集中的某个数据并将该数据移除集合

# spop key [count]
spop set1 2

求两个集合的交、并、差集

交集：两个集合的重合部分
并集：两个的整体
差集：一个集合减另一个

# sinter key1 [key2 …]  交集
sadd s1 1 2 3
sadd s2 3 4 5
sunion s1 s2 

# sunion key1 [key2 …]  并
sunion s1 s2

# sdiff key1 [key2 …] 差
 sdiff s1 s2
 sdiff s2 s1

求两个集合的交、并、差集并存储到指定集合中

# sinterstore destination key1 [key2 …]  先写指定集合然后交集的两个集合
sinterstore s3 s1 s2

# sunionstore destination key1 [key2 …]
sunionstore s3 s1 s2

# sdiffstore destination key1 [key2 …]
sdiffstore s3 s1 s2

将指定数据从原始集合中移动到目标集合中

# smove source destination member 从s1把1移到s2
smove s1 s2 1

set 类型数据操作的注意事项：

1. set 类型不允许数据重复，如果添加的数据在 set 中已经存在，将只保留一份。
2. set 虽然与hash的存储结构相同，但是无法启用hash中存储值的空间。

set应用场景：

1. 黑名单

• 资讯类信息类网站追求高访问量，但是由于其信息的价值，往往容易被不法分子利用，通过爬虫技术， 快速获取信息，个别特种行业网站信息通过爬虫获取分析后，可以转换成商业机密进行出售。例如第三方火 车票、机票、酒店刷票代购软件，电商刷评论、刷好评。
• 同时爬虫带来的伪流量也会给经营者带来错觉，产生错误的决策，有效避免网站被爬虫反复爬取成为每个网站都要考虑的基本问题。在基于技术层面区分出爬虫用户后，需要将此类用户进行有效的屏蔽，这就是黑名单的典型应用。

ps:不是说爬虫一定做摧毁性的工作，有些小型网站需要爬虫为其带来一些流量。

2. 白名单

对于安全性更高的应用访问，仅仅靠黑名单是不能解决安全问题的，此时需要设定可访问的用户群体， 依赖白名单做更为苛刻的访问验证。

解决方案：

1. 基于经营战略设定问题用户发现、鉴别规则
2. 周期性更新满足规则的用户黑名单，加入set集合
3. 用户行为信息达到后与黑名单进行比对，确认行为去向
4. 黑名单过滤IP地址：应用于开放游客访问权限的信息源
5. 黑名单过滤设备信息：应用于限定访问设备的信息源
6. 黑名单过滤用户：应用于基于访问权限的信息源

Redis实践案例：

需求：使用微信的过程中，当微信接收消息后，会默认将最近接收的消息置顶，当多个好友及关注的订阅号同时发送消息时，该排序会不停的进行交替。同时还可以将重要的会话设置为置顶。一旦用户离线后，再次打开微信时，消息该按照什么样的顺序显示。

100这台手机代表你。而200、300、400这三台代表你好友的手机。我们假定这个人有两个会话置顶的好友，分别是400和500

下面发这个消息，第一个发消息的是300，他发了个消息给100。发完以后，这个东西应该怎么存储呢？在这里面一定要分开，记录置顶的这些人的会话，对应的会话显示顺序和非置顶的一定要分两。

这里面我们创建两个模型，一个是普通的，一个是置顶的，而上面的这个置顶的用户呢，我们用set来存，那当300发给消息给100以后，这个时候我们先判定你在置顶人群中吗？不在，那好，300的消息对应的顺序就应该放在普通的列表里边。而在这里边，我们把300加进去。第一个数据也就是现在300。
接下来400，发了个消息。判断一下，他是需要置顶的，所以400将进入list的置顶里边放着。当前还没有特殊的地方。

再来200发消息了，和刚才的判定方法一样，先看在不在置顶里，不在的话进普通，然后在普通里边把200加入就行了，OK，到这里目前还没有顺序变化。

接下来200又发消息过来，同一个人给你连发了两条，那这个时候200的消息到达以后，先判断是否在置顶范围，不在，接下来他要放在list普通中，这里你要注意一点，因为这里边已经有200，所以进来以后先干一件事儿，把200杀掉，没有200，然后再把200加进来，list模型如果是一个双端队列，它是可以两头进两头出。当然我们双端从一头进一头出，这就是栈模型，现在咱们运用的就是list模型中的栈模型。

现在300发消息，先判定他在不在，不在，用普通的队列，接下来按照刚才的操作，不管你里边原来有没有300，我先把300杀掉，没了，200自然就填到300的位置了，他现在是list里面唯一一个，然后让300进来，注意是从右侧进来的，那么现在300就是最新的。

那么到这里呢，我们让100来读取消息。你觉得这个消息顺序应该是什么样的？首先置顶的400有一个，他跑在最上面，然后list普通如果出来的话，300是最新的消息，而200在他后面的。用这种形式，我们就可以做出来他的消息顺序来。

解决方案：

1. 依赖list的数据具有顺序的特征对消息进行管理，将list结构作为栈使用
2. 置顶与普通会话分别创建独立的list分别管理
3. 当某个list中接收到用户消息后，将消息发送方的id从list的一侧加入list（此处设定左侧）
4. 多个相同id发出的消息反复入栈会出现问题，在入栈之前无论是否具有当前id对应的消息，先删除对应id
5. 推送消息时先推送置顶会话list，再推送普通会话list，推送完成的list清除所有数据
6. 消息的数量，也就是微信用户对话数量采用计数器的思想另行记录，伴随list操作同步更新