[大数据]Redis相关

简介

概述

Redis作为一种key/value结构的数据存储系统，为了便于对数据进行进行管理，提供了多种数据类型。然后，基于指定类型存储我们项目中产生的数据，例如用户的登陆信息，购物车信息，商品详情信息等等。

常用数据类型

Reids中基础数据结构包含字符串、散列，列表，集合，有序集合。工作中具体使用哪种类型要结合具体场景。

String类型操作实践

字符串类型是redis中最简单的数据类型，它存储的值可以是字符串，其最大字符串长度支持到512M。基于此类型，可以实现博客的字数统计，将日志不断追加到指定key，实现一个分布式自增iid，实现一个博客的的点赞操作等

incr/incrby

当存储的字符串是整数时，redis提供了一个实用的命令INCR，其作用是让当前键值递增，并返回递增后的值。

语法：INCR key? ?说明，如果key不存在，则自动会创建，如果存在自动+1。

语法：INCRBY key increment

decr/decrby

减少指定的整数
DECR key? 按照默认步长(默认为1)进行递减
DECRBY key decrement? ?按照指定步长进行递减

append

向尾部追加值。如果键不存在则创建该键，其值为写的value，即相当于SET key value。返回值是追加后字符串的总长度。
语法：APPEND key value

strlen

字符串长度，返回数据的长度，如果键不存在则返回0。注意，如果键值为空串，返回也是0。
语法：STRLEN key

mset/mget

同时设置/获取多个键值
语法：MSET key value [key value …]
? ? ? ? ? ?MGET key [key …]

小节

• 博客的字数统计如何实现？（strlen）
• 如何将审计日志不断追加到指定key?(append)
• 你如何实现一个分布式自增id？(incr-雪花算法)
• 如何实现一个博客的的点赞操作？(incr,decr)

Hash类型应用实践

Redis散列类型相当于Java中的HashMap，实现原理跟HashMap一致,一般用于存储对象信息，存储了字段（field）和字段值的映射，一个散列类型可以包含最多232-1个字段。

hset/hget

HSET和HGET赋值和取值

HSET key field?value? ? ? ? ? ? ? ? ?HGET key field

HSET命令不区分插入和更新操作，当执行插入操作时HSET命令返回1，当执行更新操作时返回0。

hincrby

没有hdecrby自减命令执行会出错

hmset/hmget

HMSET和HMGET设置和获取对象属性

hexists

属性是否存在

hdel

删除属性

hkeys/hvals

只获取字段名HKEYS或字段值HVALS

小节

• 发布一篇博客需要写内存吗？（需要,hmset）
• 浏览博客内容会怎么做？（hmget）
• 如何判定一篇博客是否存在？(hexists)
• 删除一篇博客如何实现？(hdel)
• 分布式系统中你登录成功以后是如何存储用户信息的？(hmset)

List类型应用实践

Redis的list类型相当于java中的LinkedList，其原理就就是一个双向链表。支持正向、反向查找和遍历等操作，插入删除速度比较快。经常用于实现热销榜，最新评论等的设计。

lpush

在key对应list的头部添加字符串元素

其中，Redis Lrange 返回列表中指定区间内的元素，区间以偏移量 START 和 END 指定。 其中 0 表示列表的第一个元素， 1 表示列表的第二个元素，以此类推。 你也可以使用负数下标，以 -1 表示列表的最后一个元素， -2 表示列表的倒数第二个元素，以此类推

rpush

在key对应list的尾部添加字符串元素

del

删除

linsert

在key对应list的特定位置之前或之后添加字符串元素

lset

设置list中指定下标的元素值(一般用于修改操作)

lrem

从key对应list中删除count个和value相同的元素，count>0时，按从头到尾的顺序删除

ltrim

保留指定key 的值范围内的数据

lpop

从list的头部删除元素，并返回删除元素

rpop

从list的尾部删除元素，并返回删除元素

llen

返回key对应list的长度

lindex

返回名称为key的list中index位置的元素

rpoplpush

从第一个list的尾部移除元素并添加到第二个list的头部,最后返回被移除的元素值，整个操作是原子的.如果第一个list是空或者不存在返回

小节

如何基于redis实现一个队列结构？（lpush/rpop）
如何基于redis实现一个栈结构？(lpush/lpop)
如何基于redis实现一个阻塞式队列？(lpush/brpop)
如何实现秒杀活动的公平性？(先进先出-FIFO)
通过list结构实现一个消息队列(顺序)吗？（可以，FIFO->lpush,rpop）
用户注册时的邮件发送功能如何提高其效率？(邮件发送是要调用三方服务，底层通过队列优化其效率，队列一般是list结构)
如何动态更新商品的销量列表？(卖的好的排名靠前一些，linsert)
商家的粉丝列表使用什么结构实现呢？(list结构)

Set类型应用实践

Redis的Set类似Java中的HashSet，是string类型的无序集合。集合成员是唯一的，这就意味着集合中不能出现重复的数据。Redis中Set集合是通过哈希表实现的，所以添加，删除，查找的复杂度都是O(1)。

sadd

添加元素，重复元素添加失败，返回0

smembers

获取内容

spop

移除并返回集合中的一个随机元素

scard

获取成员个数

smove

移动一个元素到另外一个集合

sunion

并集

小节

• 朋友圈的点赞功能你如何实现？（sadd,srem,smembers,scard）
• 如何实现一个网站投票统计程序?
• 你知道微博中的关注如何实现吗？

Jedis

Jedis是Java中操作redis的一个客户端，类似通过jdbc访问mysql数据库。

第一步:从redis.io官方下载对应版本的redis.conf文件,地址如下(假如下载不下来从code上去取或者从同学那拿):

https://redis.io/topics/config/
1
第二步:停止redis并删除挂载目录下(/usr/local/docker/redis01/conf)的redis.conf配置文件.
第三步:将下载的redis.conf文件拷贝到redis挂载目录(/usr/local/docker/redis01/conf)
第四步:基于vim打开redis.conf文件,然后注释 bind 127.0.0.1这一行,并修改protected-mode的值修改为no.
第五步:重启redis服务,并检查启动日志(docker logs 容器id)

基本指令

redis进行事务控制时，通常是基于如下指令进行实现，例如：

• multi 开启事务
• exec 提交事务
• discard 取消事务
• watch 监控，如果监控的值发生变化，则提交事务时会失败
• unwatch 去掉监控

主从同步原理分析

Redis的主从结构可以采用一主多从结构，Redis主从复制可以根据是否是全量分为全量同步和增量同步。

Redis全量同步：

Redis全量复制一般发生在Slave初始化阶段，这时Slave需要将Master上的所有数据都复制一份。具体步骤如下：
1）从服务器连接主服务器，发送SYNC命令；
2）主服务器接收到SYNC命名后，开始执行BGSAVE命令生成RDB文件并使用缓冲区记录此后执行的所有写命令；
3）主服务器BGSAVE执行完后，向所有从服务器发送快照文件，并在发送期间继续记录被执行的写命令；
4）从服务器收到快照文件后丢弃所有旧数据，载入收到的快照；
5）主服务器快照发送完毕后开始向从服务器发送缓冲区中的写命令；
6）从服务器完成对快照的载入，开始接收命令请求，并执行来自主服务器缓冲区的写命令；

Redis增量同步

Redis增量复制是指Slave初始化后，开始正常工作时主服务器发生的写操作同步到从服务器的过程。 增量复制的过程主要是主服务器每执行一个写命令就会向从服务器发送相同的写命令，从服务器接收并执行收到的写命令。

小节

Redis的高并发跟整个系统的高并发是什么关系？
第一:Redis你要搞高并发的话，不可避免，要把底层的缓存搞得很好。例如，mysql的高并发，是通过一系列复杂的分库分表，订单系统，事务要求的，QPS到几万，比较高了。
第二：要做一些电商的商品详情页，真正的超高并发，QPS上十万，甚至是百万，一秒钟百万的请求量，只有redis是不够的，但是redis是整个大型的缓存架构中，支撑高并发的架构里面，非常重要的一个环节。
第三：你的底层的缓存中间件，缓存系统，必须能够支撑的起我们说的那种高并发，其次，再经过良好的整体的缓存架构的设计（多级缓存架构、热点缓存），支撑真正的上十万，甚至上百万的高并发。

?