[大数据]Redis（二）数据类型、发布订阅

常用五大数据类型

key键操作

keys * 查看当前库所有key

127.0.0.1:6379> set k1 lucy
OK
127.0.0.1:6379> set k2 mark
OK
127.0.0.1:6379> set k3 jack
OK
127.0.0.1:6379> keys *
1) "k1"
2) "k2"
3) "k3"

exists key 判断某个key是否存在，返回1表示存在，0表示不存在。

127.0.0.1:6379> exists k1
(integer) 1
127.0.0.1:6379> exists k4
(integer) 0

type key 查看指定的key是什么类型

127.0.0.1:6379> type k1
string

del key 删除指定的key数据，立即删除。

unlink key 根据value选择非阻塞删除

仅将keys从keyspace元数据中删除，真正的删除会在后续异步操作，可以理解为先斩后奏。

127.0.0.1:6379> unlink k2
(integer) 1
127.0.0.1:6379> exists k2
(integer) 0
127.0.0.1:6379> del k1
(integer) 1
127.0.0.1:6379> exists k1
(integer) 0

expire key 10 给指定的key设置过期时间，秒数可自己指定

ttl key 查看还有多少秒，key值过期，-1表示永不过期，-2表示已过期。

127.0.0.1:6379> expire k3 10
(integer) 1
127.0.0.1:6379> ttl k3
(integer) 7
127.0.0.1:6379> ttl k3
(integer) 5
127.0.0.1:6379> ttl k3
(integer) 4
127.0.0.1:6379> ttl k3
(integer) 3
127.0.0.1:6379> ttl k3
(integer) 1
127.0.0.1:6379> ttl k3
(integer) 0
127.0.0.1:6379> ttl k3
(integer) -2
127.0.0.1:6379> exists k3
(integer) 0

Redis字符串

String是Redis最基本的类型，一个key对应一个value。

String类型是二进制安全的。意味着Redis的string可以包含任何数据。比如jpg图片或者序列化的对象。

String类型是Redis最基本的数据类型，一个Redis中字符串value最多可以是512M。

常用命令

set <key><value> 添加键值对

127.0.0.1:6379> set key value [EX seconds|PX milliseconds|EXAT timestamp|PXAT milliseconds-timestamp|KEEPTTL] [NX|XX] [GET]

• EX 秒 ---- 设置指定的过期时间（以秒为单位）
• PX 毫秒 — 设置指定的过期时间（以毫秒为单位）
• EXAT 时间戳秒 — 设置key过期的指定Unix时间（以秒为单位）。
• PXAT 时间戳毫秒 — 设置key过期的指定Unix时间 （以毫秒为单位）。
• NX — 仅当key尚不存在时才设置该key。
• XX — 仅设置已存在的key。
• KEEPTTL — 保留与key关联的生存时间。
• GET — 返回存储在key处的旧字符串，如果key不存在，则返回nil；如果存储在key处的值不是字符串，则返回错误并终止SET。

注：SET命令选项可以替换SETNX、SETEX、PSETEX、GETSET。

127.0.0.1:6379> set k1 v1 ex 10000
OK
127.0.0.1:6379> ttl k1
(integer) 9994
127.0.0.1:6379> set k2 v2 nx
OK
127.0.0.1:6379> set k2 v3 nx
(nil)
127.0.0.1:6379> set k2 newv2 xx
OK
127.0.0.1:6379> set k3 newv2 xx
(nil)
127.0.0.1:6379> get k2
"newv2"
127.0.0.1:6379> set k2 v2 get
"newv2"
127.0.0.1:6379> get k2
"v2"

append <key><value> 将给定的<value>追加到原值的末尾

127.0.0.1:6379> append k1 xixihaha
(integer) 10
127.0.0.1:6379> get k1
"v1xixihaha"

注：append返回的是追加后的字符串长度

strlen <key> 获取值的长度

127.0.0.1:6379> strlen k1
(integer) 10

incr <key> 将key中储存的数字值增1，只能对数字值操作，如果为空，新增值为1

127.0.0.1:6379> set k4 99
OK
127.0.0.1:6379> get k4
"99"
127.0.0.1:6379> incr k4
(integer) 100
127.0.0.1:6379> get k4
"100"

decr <key> 将key中储存的数字值减1，只能对数字值操作，如果为空，新增值为-1

127.0.0.1:6379> decr k4
(integer) 99
127.0.0.1:6379> get k4
"99"

incrby / decrby <key><步长> 将key中储存的数字值增减。自定义步长。

127.0.0.1:6379> incrby k4 100
(integer) 199
127.0.0.1:6379> decrby k4 100
(integer) 99

incr系列是原子操作，所谓原子操作是指不会被线程调度机制打断的操作。

这种操作一旦开始，就一直运行到结束，中间不会有任何context switch（切换到另一个线程）。

在单线程中，能够在单条指令中完成的操作都可以认为是"原子操作"，因为中断只能发生于指令之间。

在多线程中，不能被其他进程（线程）打断的操作就叫原子操作。

而Redis单命令的原子性主要得益于Redis的单线程。

mest <key1> <value1> <key2> <value2> …同时设置一个或多个key-value对
mget <key1> <key2> <key3> … 同时获取一个或多个value
msetnx <key1><value1><key2><value2> …
同时设置一个或多个key-value对，当前仅当所有给定的key都不存在

以上三个命令也遵循原子性，有一个失败则所有的都失败。

127.0.0.1:6379> mset k11 v11 k12 v12
OK
127.0.0.1:6379> mget k11 k12
1) "v11"
2) "v12"
127.0.0.1:6379> msetnx k13 v13 k14 v14 k11 v1111
(integer) 0

getrange <key> <起始位置> <结束位置>
获取值的范围，类似java中的substring，前包，后包
setrange <key><起始位置><value>
用<value>覆盖<key>所储存的字符串值，从<起始位置>开始（索引从0开始）

127.0.0.1:6379> set k2 v2xixihaha
OK
127.0.0.1:6379> getrange k2 3 8
"ixihah"
127.0.0.1:6379> setrange k2 3 shell
(integer) 10
127.0.0.1:6379> get k2
"v2xshellha"

数据结构

String的数据结构为简单动态字符串（Simple Dynamic String，缩写为SDS）。是可以修改的字符串，内部结构是类似于Java的ArrayList，采用预分配冗余空间的方式来减少内存的频繁分配。

如图所示，内部为当前字符串实际分配的空间capacity，一般要高于实际字符串长度len。当字符串长度小于1M时，扩容都是加倍现有的空间，如果超过1M，扩容一次只会多扩1M的空间，字符串的最大长度为512M。

Redis列表（List）

Redis列表是单键多值的。

Redis列表是简单的字符串列表，按照插入顺序排序。可以添加一个元素到列表的头部（左边）或者尾部（右边）。

它的底层实际是个双向链表，对两端的操作性能很高，通过索引下标的操作中间的节点性能会比较差。

常用命令

lpush/rpush <key><value1><value2><value3> …
从左边/右边插入一个或多个值。

127.0.0.1:6379> lpush k1 v1 v2 v3
(integer) 3
127.0.0.1:6379> lrange k1 0 -1
1) "v3"
2) "v2"
3) "v1"
127.0.0.1:6379> rpush k2 v1 v2 v3
(integer) 3
127.0.0.1:6379> lrange k2 0 -1
1) "v1"
2) "v2"
3) "v3"

注：lpush类似于链表的头插法，rpush类似于链表的尾插法。

lpop/rpop <key> 从左边/右边弹出一个值。值在键在，值光键亡。

127.0.0.1:6379> lpop k1 1
1) "v3"
127.0.0.1:6379> lpop k1 1
1) "v2"
127.0.0.1:6379> lpop k1 1
1) "v1"
127.0.0.1:6379> exists k1
(integer) 0
127.0.0.1:6379> keys *
1) "k2"

127.0.0.1:6379> rpop k2 1
1) "v3"
127.0.0.1:6379> rpop k2 1
1) "v2"
127.0.0.1:6379> rpop k2 1
1) "v1"
127.0.0.1:6379> exists k2
(integer) 0 

当键中的值全部弹出时，键就消亡了。

rpoplpush <key1> <key2> 从<key1>列表右边弹出一个值，插到<key2>列表左边。

127.0.0.1:6379> lpush k1 v1 v2 v3
(integer) 3
127.0.0.1:6379> rpush k2 v1 v2 v3
(integer) 3
127.0.0.1:6379> rpoplpush k1 k2
"v1"
127.0.0.1:6379> lrange k2 0 -1
1) "v1"
2) "v1"
3) "v2"
4) "v3"

lrange <key> <start> <stop> 按照索引下标获得元素（从左到右）

lrange mylist 0 -1

0表示左边第一个，-1表示到列表末尾最后一个元素。

lindex <key> <index> 按照索引下标获得元素（从左到右）

127.0.0.1:6379> lindex k2 2
"v2"
127.0.0.1:6379> lindex k2 1
"v1"

llen <key> 获得列表长度

127.0.0.1:6379> llen k2
(integer) 4
127.0.0.1:6379> llen k1
(integer) 2

linsert <key> before|after <value> <newvalue> 在<value>的后面插入<newvalue>

127.0.0.1:6379> linsert k1 after v2 newv2
(integer) 3
127.0.0.1:6379> linsert k1 before v1 newv2
(integer) -1
127.0.0.1:6379> linsert k1 before v3 newv2
(integer) 4
127.0.0.1:6379> lrange k1 0 -1
1) "newv2"
2) "v3"
3) "v2"
4) "newv2"

lrem <key> <n> <value> 从左边删除n个value（从左往右）

127.0.0.1:6379> lrange k1 0 -1
1) "newv2"
2) "v3"
3) "v2"
4) "newv2"
127.0.0.1:6379> lrem k1 2 newv2
(integer) 2
127.0.0.1:6379> lrange k1 0 -1
1) "v3"
2) "v2"

lset <key> <index> <value> 将列表key下标为index的值替换成value

127.0.0.1:6379> lset k1 0 newv3
OK
127.0.0.1:6379> lrange k1 0 -1
1) "newv3"
2) "v2"

数据结构

List的数据结构为快速链表quickList。

在列表元素较少的情况下会使用一块连续的内存存储，这个结构是ziplist，即压缩列表。它将所有的元素紧挨着一起存储，分配的是一块连续的内存。

当数据量比较多的时候才会改成quicklist。

因为普通的链表需要的附加指针空间太大，会比较浪费空间。比如列表中只存放int类型的数据，但结构上还需要两个额外的指针prev和next。

所以Redis将链表和ziplist结合起来就组成了quicklist。也就是将多个ziplist使用双向指针串起来使用，这样既满足了快速的插入删除性能，又不会出现太大的空间冗余。

Redis集合（Set）

Redis set对外提供的功能与list类似是一个列表的功能，特殊之处在于set是可以自动排重的。当需要存储一个列表数据，又不希望出现重复数据时，set是一个很好的选择，并且set提供了判断某个成员是否在一个set集合内的重要接口，这是list所不能提供的。

Redis的Set是string类型的无序集合，它底层是一个value为null的hash表，所以添加，删除，查找的复杂度都是O(1)。

常用命令

sadd <key> <value1> <value2> …
将一个或多个member元素加入到集合key中，已经存在的member元素将被忽略。

127.0.0.1:6379> sadd k1 v1 v2 v3
(integer) 3
127.0.0.1:6379> smembers k1
1) "v3"
2) "v2"
3) "v1"

smembers <key> 取出该集合的所有值

sismember <key> <value> 判断集合<key>是否为含有该<value>值，有则返回1，没有则返回0

127.0.0.1:6379> sismember k1 v1
(integer) 1
127.0.0.1:6379> sismember k1 v12
(integer) 0

scard <key> 返回该集合的元素个数

127.0.0.1:6379> scard k1
(integer) 3

srem <key> <value1> <value2>… 删除集合中的某个元素

127.0.0.1:6379> sadd k1 v4 v5 v6 v7 
(integer) 4
127.0.0.1:6379> smembers k1
1) "v2"
2) "v3"
3) "v5"
4) "v6"
5) "v7"
6) "v1"
7) "v4"
127.0.0.1:6379> srem k1 v4 v5
(integer) 2
127.0.0.1:6379> smembers k1
1) "v2"
2) "v3"
3) "v6"
4) "v7"
5) "v1"

spop <key> 随机从该集合中弹出一个值

当set中的值全部弹出完时，set也就消亡了。

127.0.0.1:6379> smembers k1
1) "v2"
2) "v3"
3) "v6"
4) "v7"
5) "v1"
127.0.0.1:6379> spop k1 2
1) "v3"
2) "v6"
127.0.0.1:6379> smembers k1
1) "v2"
2) "v7"
3) "v1"

srandmember <key> <n> 随机从该集合中取出n个值，不会从集合中删除

127.0.0.1:6379>srandmember k1 2
1) "v2"
2) "v7"
127.0.0.1:6379>srandmember k1 2
1) "v2"
2) "v1"

smove <source> <destination> value 把集合中一个值从一个集合移动到另一个集合

127.0.0.1:6379> sadd k2 v3 v4 v5
(integer) 3
127.0.0.1:6379> smove k2 k1 v3
(integer) 1
127.0.0.1:6379> smembers k1
1) "v3"
2) "v2"
3) "v7"
4) "v1"
127.0.0.1:6379> smembers k2
1) "v5"
2) "v4"

sinter <key1> <key2> 返回两个集合的交集元素
sunion <key1> <key2> 返回两个集合的并集元素
sdiff <key1> <key2> 返回两个集合的差集元素（key1中不包含key2的）

127.0.0.1:6379> sadd k2 v1 v7
(integer) 2
127.0.0.1:6379> smembers k1
1) "v3"
2) "v2"
3) "v7"
4) "v1"
127.0.0.1:6379> smembers k2
1) "v5"
2) "v7"
3) "v1"
4) "v4"
127.0.0.1:6379> sinter k1 k2
1) "v7"
2) "v1"
127.0.0.1:6379> sunion k1 k2
1) "v3"
2) "v2"
3) "v5"
4) "v4"
5) "v7"
6) "v1"
127.0.0.1:6379> sdiff k1 k2
1) "v2"
2) "v3"
127.0.0.1:6379> sdiff k2 k1
1) "v5"
2) "v4"

数据结构

Set数据结构是dict字典，字典是用哈希表实现的。

Java 中 HashSet的内部实现使用的是HashMap，只不过所有的value都指向同一个对象。Redis的set结构也是一样，它的内部也使用hash结构，所有的value都指向同一个内部值。

Redis哈希（Hash）

Redis hash是一个键值对集合。

Redis hash是一个string类型的field和value的映射表，hash特别适合用于存储对象。类似于Java里面的Map<String,Object>。

举例：用户ID为查找的key，存储的value用户对象包含姓名，年龄，生日等信息，如果用普通的key/value结构来存储。

主要有以下两种存储方式：

每次修改用户的某个属性需要，先反序列化改好后再序列化回去，开销较大。

用户ID数据冗余。

redis中hash存储

通过key(用户ID) + field(属性标签)就可以操作对应属性数据了，既不需要重复存储数据，也不会带来序列化和并发修改控制的问题。

常用命令

hset <key> <field> <value> 给<key>集合中的<field>键赋值<value>
hget <key1> <field> 从<key1>集合<field>取出value

127.0.0.1:6379> hset user:1001 id 1
(integer) 1
127.0.0.1:6379> hset user:1001 name zhangsan
(integer) 1
127.0.0.1:6379> hget user:1001 id
"1"
127.0.0.1:6379> hget user:1001 name
"zhangsan"

hmset <key1> <field1> < value1> <field2> < value2> … 批量设置hash的值

127.0.0.1:6379> hmset user:1002 id 2 name lihua age 20 gender 1
OK
127.0.0.1:6379> hget user:1002 gender
"1"
127.0.0.1:6379> hget user:1002 age
"20"

hexists <key> <field> 查看哈希表key中，给定域field是否存在

127.0.0.1:6379> hexists user:1002 gender
(integer) 1
127.0.0.1:6379> hexists user:1002 email
(integer) 0

hkeys <key> 列出该hash集合的所有field
hvals <key> 列出该hash集合的所有value

127.0.0.1:6379> hkeys user:1002
1) "id"
2) "name"
3) "age"
4) "gender"
127.0.0.1:6379> hvals user:1002
1) "1"
2) "lihua"
3) "20"
4) "1"

hincrby <key> <field> <increment> 为哈希表key中的域field的值加上增量 1 -1

127.0.0.1:6379> hincrby user:1002 age 2
(integer) 22
127.0.0.1:6379> hincrby user:1002 age -2
(integer) 20

hsetnx <key> <field> <value> 将哈希表key中的域field的值设置为value，当且仅当域field不存在。

127.0.0.1:6379> hsetnx user:1002 gender 1
(integer) 0
127.0.0.1:6379> hsetnx user:1002 email lihua@qq.com
(integer) 1
127.0.0.1:6379> hkeys user:1002
1) "id"
2) "name"
3) "age"
4) "gender"
5) "email"
127.0.0.1:6379> hvals user:1002
1) "1"
2) "lihua"
3) "20"
4) "1"
5) "lihua@qq.com"

数据结构

Hash类型对应的数据结构有两种：ziplist和hashtable。

当field-value长度较短且个数较少时，使用ziplist，否则使用hashtable。

Redis 有序集合Zset（sorted set）

Redis有序集合zset与普通集合set非常相似，是一个没有重复元素的字符串集合。

不同之处是有序集合的每个成员都关联了一个评分，这个评分被用来按照从最低分到最高分的方式排序集合中的成员。集合中的成员是唯一的，但是评分可以是重复的。

因为元素是有序的，所以可以很快的根据评分或者次序来获取一个范围的元素。

访问有序集合的中间元素也是非常快的，因此能够使用有序集合作为一个没有重复成员的智能列表。

常用命令

zadd <key> <score1> <value1> <score2> <value2> …
将一个或多个member元素及其score值加入到有序集key中。
zrange <key> <start> <stop> [WITHSCORES]
返回有序集key中，下标在start和stop之间的元素
带WITHSCORES，可以让分数一起和值返回到结果集。

127.0.0.1:6379> zadd topn 200 java 300 c++ 400 python 500 go
(integer) 4
127.0.0.1:6379> zrange topn 0 -1
1) "java"
2) "c++"
3) "python"
4) "go"
127.0.0.1:6379> zrange topn 0 -1 withscores
1) "java"
2) "200"
3) "c++"
4) "300"
5) "python"
6) "400"
7) "go"
8) "500"
127.0.0.1:6379> zrange topn 1 3 withscores
1) "c++"
2) "300"
3) "python"
4) "400"
5) "go"
6) "500"

zrangebyscore key minmax [withscores] [limit offset count]
返回有序集key中，所有score值介于min和max之间（包括等于min或max）的成员。有序集成员按score值递增（从小到大）次序排列。
zrevrangebyscore key maxmin [withscores] [limit offset count] 同上，次序从大到小

127.0.0.1:6379> zrangebyscore topn 200 400
1) "java"
2) "c++"
3) "python"
127.0.0.1:6379> zrangebyscore topn 200 400 withscores
1) "java"
2) "200"
3) "c++"
4) "300"
5) "python"
6) "400"
127.0.0.1:6379> zrevrangebyscore topn 400 200 withscores
1) "python"
2) "400"
3) "c++"
4) "300"
5) "java"
6) "200"

zincrby <key> <increment> <value> 为元素的score加上增量

127.0.0.1:6379> zincrby topn 20 java
"220"

zrem <key> <value> 删除该集合下，指定值的元素

zcount <key> <min> <max> 统计该集合，分数区间内的元素个数

127.0.0.1:6379> zcount topn 200 300
(integer) 2

zrank <key> <value> 返回该值在集合中的排名，从0开始

127.0.0.1:6379> zrank topn java
(integer) 0
127.0.0.1:6379> zrank topn go
(integer) 3

数据结构

SortedSet(zset)是Redis提供的一个非常特别的数据结构，一方面它等价于Java的数据结构Map<String，Double>，可以给每一个元素value赋予一个权重score，另一方面它又类似于TreeSet，内部的元素会按照权重score进行排序，可以得到每个元素的名次，还可以通过score的范围来获取元素的列表。

zset底层使用了两个数据结构：

1. hash，hash的作用是关联元素value和权重score，保障元素value的唯一性，可以通过元素value找到相应的score值。
2. 跳跃表，跳跃表的目的在于给元素value排序，根据score的范围获取元素列表。

跳跃表

对于有序集合的底层实现，可以用数组、平衡树、链表等。

数组不便于元素的插入和删除；平衡树或红黑树虽然效率高但结构复杂；链表查询需要遍历效率低下。Redis底层采用的是跳跃表，效率堪比红黑树，但实现远比红黑树简单。

Redis的发布和订阅

什么是发布和订阅

Redis发布订阅（pub/sub）是一种消息通信模式：发送者（pub）发送消息，而订阅者（sub）接收消息。

Redis客户端可以订阅任意数量的频道。

Redis的发布和订阅

客户端可以订阅频道

当给这个频道发布消息后，消息就会发给订阅的客户端

命令行实现

打开一个客户端订阅channel1

127.0.0.1:6379> subscribe channel1
Reading messages... (press Ctrl-C to quit)
1) "subscribe"
2) "channel1"
3) (integer) 1

打开另一个客户端，给channel1发布消息hello

127.0.0.1:6379> publish channel1 hello
(integer) 1

打开第一个客户端就可以看到发送的消息

127.0.0.1:6379> subscribe channel1
Reading messages... (press Ctrl-C to quit)
1) "subscribe"
2) "channel1"
3) (integer) 1
1) "message"
2) "channel1"
3) "hello"