[大数据]Redis(16) -- Redis集群

Redis6

12.1）存在问题

容量不够，redis如何进行扩容？

并发写操作， redis如何分摊？

另外，主从模式，薪火相传模式，主机宕机，导致ip地址发生变化，应用程序中配置需要修改对应的主机地址、端口等信息；之前通过代理主机来解决，但是redis3.0中提供了解决方案——就是无中心化集群配置。

代理主机如下图：【需要8台服务器】

?无中心化集群如下图：【需要6台服务器】

?12.2）集群简介

Redis 集群实现了对Redis的水平扩容，即启动N个redis节点，将整个数据库分布存储在这N个节点中，每个节点存储总数据的1/N。

Redis 集群通过分区（partition）来提供一定程度的可用性（availability）： 即使集群中有一部分节点失效或者无法进行通讯， 集群也可以继续处理命令请求。

12.3）模拟搭建Redis集群

12.3.1）删除持久化数据

将相关目录下的rdb和aof文件都删除掉。

12.3.2）创建实例

创建11079、11080、11081、11089、11090和11091总共6个实例

12.3.2.1）配置基本信息

创建相应的配置文件，以 redis11091.conf 为例

include /root/myredis/redis.conf
pidfile "/var/run/redis_11091.pid"
port 11091
dbfilename "dump11091.rdb"
# 打开集群模式
cluster-enabled yes
# 设定节点配置文件名
cluster-config-file nodes-11091.conf
# 设定节点失联时间，超过该时间（毫秒），集群自动进行主从切换
cluster-node-timeout 15000

依次修改其余配置文件：

-rw-r--r-- 1 root root ? 196 Apr 21 22:19 redis11079.conf
-rw-r--r-- 1 root root ? 196 Apr 21 22:23 redis11080.conf
-rw-r--r-- 1 root root ? 196 Apr 21 22:25 redis11081.conf
-rw-r--r-- 1 root root ? 196 Apr 21 22:26 redis11089.conf
-rw-r--r-- 1 root root ? 196 Apr 21 22:26 redis11090.conf
-rw-r--r-- 1 root root ? 196 Apr 21 22:27 redis11091.conf

12.3.2.2）启动上述redis服务

[root@VM-20-6-centos myredis]# ps -ef | grep redis
root ? ? 17788 ? ? 1  0 00:31 ? ? ? ?  00:02:22 redis-sentinel *:26379 [sentinel]
root ? ? 31614 26503  0 22:31 pts/1 ?  00:00:00 grep --color=auto redis
[root@VM-20-6-centos myredis]# redis-server redis11079.conf 
[root@VM-20-6-centos myredis]# redis-server redis11080.conf 
[root@VM-20-6-centos myredis]# redis-server redis11081.conf 
[root@VM-20-6-centos myredis]# redis-server redis11089.conf 
[root@VM-20-6-centos myredis]# redis-server redis11090.conf 
[root@VM-20-6-centos myredis]# redis-server redis11091.conf 
[root@VM-20-6-centos myredis]# ll
total 144
-rw-r--r-- 1 root root ? 114 Apr 21 22:56 nodes-11079.conf
-rw-r--r-- 1 root root ? 114 Apr 21 22:56 nodes-11080.conf
-rw-r--r-- 1 root root ? 114 Apr 21 22:56 nodes-11081.conf
-rw-r--r-- 1 root root ? 114 Apr 21 22:56 nodes-11089.conf
-rw-r--r-- 1 root root ? 114 Apr 21 22:56 nodes-11090.conf
-rw-r--r-- 1 root root ? 114 Apr 21 22:56 nodes-11091.conf
-rw-r--r-- 1 root root ? 319 Apr 21 22:56 redis11079.conf
-rw-r--r-- 1 root root ? 196 Apr 21 22:23 redis11080.conf
-rw-r--r-- 1 root root ? 319 Apr 21 22:56 redis11081.conf
-rw-r--r-- 1 root root ? 196 Apr 21 22:26 redis11089.conf
-rw-r--r-- 1 root root ? 196 Apr 21 22:26 redis11090.conf
-rw-r--r-- 1 root root ? 196 Apr 21 22:27 redis11091.conf
-rw-r--r-- 1 root root 93736 Apr 20 21:32 redis.conf
-rw-r--r-- 1 root root ? 403 Apr 21 22:53 sentinel.conf
[root@VM-20-6-centos myredis]# ps -ef | grep redis-server
root ? ? 26748 ? ? 1  0 22:56 ? ? ? ?  00:00:00 redis-server *:11079 [cluster]
root ? ? 27786 ? ? 1  0 22:56 ? ? ? ?  00:00:00 redis-server *:11080 [cluster]
root ? ? 27792 ? ? 1  0 22:56 ? ? ? ?  00:00:00 redis-server *:11081 [cluster]
root ? ? 28825 ? ? 1  0 22:56 ? ? ? ?  00:00:00 redis-server *:11089 [cluster]
root ? ? 28831 ? ? 1  0 22:56 ? ? ? ?  00:00:00 redis-server *:11090 [cluster]
root ? ? 28837 ? ? 1  0 22:56 ? ? ? ?  00:00:00 redis-server *:11091 [cluster]
root ? ? 30895 26503  0 22:57 pts/1 ?  00:00:00 grep --color=auto redis-server

12.3.2.4）将redis节点合成一个集群

组合之前，请确保所有redis实例启动后，nodes-xxxx.conf文件都生成正常

[root@VM-20-6-centos myredis]# ll
total 144
-rw-r--r-- 1 root root ? 114 Apr 21 22:56 nodes-11079.conf
-rw-r--r-- 1 root root ? 114 Apr 21 22:56 nodes-11080.conf
-rw-r--r-- 1 root root ? 114 Apr 21 22:56 nodes-11081.conf
-rw-r--r-- 1 root root ? 114 Apr 21 22:56 nodes-11089.conf
-rw-r--r-- 1 root root ? 114 Apr 21 22:56 nodes-11090.conf
-rw-r--r-- 1 root root ? 114 Apr 21 22:56 nodes-11091.conf
-rw-r--r-- 1 root root ? 319 Apr 21 22:56 redis11079.conf
-rw-r--r-- 1 root root ? 196 Apr 21 22:23 redis11080.conf
-rw-r--r-- 1 root root ? 319 Apr 21 22:56 redis11081.conf
-rw-r--r-- 1 root root ? 196 Apr 21 22:26 redis11089.conf
-rw-r--r-- 1 root root ? 196 Apr 21 22:26 redis11090.conf
-rw-r--r-- 1 root root ? 196 Apr 21 22:27 redis11091.conf
-rw-r--r-- 1 root root 93736 Apr 20 21:32 redis.conf
-rw-r--r-- 1 root root ? 403 Apr 21 22:53 sentinel.conf

进入redis目录下：

/root/redis/redis-6.2.6/src

组成集群指令

[root@VM-20-6-centos src]# redis-cli --cluster create --cluster-replicas 1 127.0.0.1:11079 127.0.0.1:11080 127.0.0.1:11081 127.0.0.1:11089 127.0.0.1:11090 127.0.0.1:11091

注意点：

1. 此处不要用127.0.0.1， 请用真实IP地址；

2. --replicas 1 采用最简单的方式配置集群，一台主机，一台从机，正好三组

组成集群：

>>> Performing hash slots allocation on 6 nodes...
Master[0] -> Slots 0 - 5460
Master[1] -> Slots 5461 - 10922
Master[2] -> Slots 10923 - 16383
Adding replica 127.0.0.1:11090 to 127.0.0.1:11079
Adding replica 127.0.0.1:11091 to 127.0.0.1:11080
Adding replica 127.0.0.1:11089 to 127.0.0.1:11081
>>> Trying to optimize slaves allocation for anti-affinity
[WARNING] Some slaves are in the same host as their master
M: 92a80c155bbec05d7ab822a724062c4a99b013b7 127.0.0.1:11079
 ? slots:[0-5460] (5461 slots) master
M: 7b85b2b99cb4e2f12ad1eba4865deedd71679740 127.0.0.1:11080
 ? slots:[5461-10922] (5462 slots) master
M: 0701a3bc4f4965d687b25636bd81875e3dc7b06c 127.0.0.1:11081
 ? slots:[10923-16383] (5461 slots) master
S: a059c850eb158fcefcaaa45ca789d9ba3e795533 127.0.0.1:11089
 ? replicates 0701a3bc4f4965d687b25636bd81875e3dc7b06c
S: 171d147c2240834bc1d22db24cba6fd15b36e950 127.0.0.1:11090
 ? replicates 92a80c155bbec05d7ab822a724062c4a99b013b7
S: f6524917beae827c7a2cccb9bb2e162bd7a496ea 127.0.0.1:11091
 ? replicates 7b85b2b99cb4e2f12ad1eba4865deedd71679740
Can I set the above configuration? (type 'yes' to accept): yes
>>> Nodes configuration updated
>>> Assign a different config epoch to each node
>>> Sending CLUSTER MEET messages to join the cluster
Waiting for the cluster to join
.
>>> Performing Cluster Check (using node 127.0.0.1:11079)
M: 92a80c155bbec05d7ab822a724062c4a99b013b7 127.0.0.1:11079
 ? slots:[0-5460] (5461 slots) master
 ? 1 additional replica(s)
M: 7b85b2b99cb4e2f12ad1eba4865deedd71679740 127.0.0.1:11080
 ? slots:[5461-10922] (5462 slots) master
 ? 1 additional replica(s)
S: a059c850eb158fcefcaaa45ca789d9ba3e795533 127.0.0.1:11089
 ? slots: (0 slots) slave
 ? replicates 7b85b2b99cb4e2f12ad1eba4865deedd71679740
S: 171d147c2240834bc1d22db24cba6fd15b36e950 127.0.0.1:11090
 ? slots: (0 slots) slave
 ? replicates 0701a3bc4f4965d687b25636bd81875e3dc7b06c
M: 0701a3bc4f4965d687b25636bd81875e3dc7b06c 127.0.0.1:11081
 ? slots:[10923-16383] (5461 slots) master
 ? 1 additional replica(s)
S: f6524917beae827c7a2cccb9bb2e162bd7a496ea 127.0.0.1:11091
 ? slots: (0 slots) slave
 ? replicates 92a80c155bbec05d7ab822a724062c4a99b013b7
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.

12.3.2.5）采用集群策略连接redis服务

[root@VM-20-6-centos src]# redis-cli -c -p 11080
127.0.0.1:11080> keys *
(empty array)
127.0.0.1:11080> set k1 v1
-> Redirected to slot [12706] located at 127.0.0.1:11081
OK

12.3.2.6）查看集群信息

通过 cluster nodes 命令查看集群信息

[root@VM-20-6-centos src]# redis-cli -c -h 127.0.0.1 -p 11080
127.0.0.1:11080> keys *
(empty array)
127.0.0.1:11080> cluster nodes
92a80c155bbec05d7ab822a724062c4a99b013b7 127.0.0.1:11079@21079 master - 0 1650555294066 1 connected 0-5460
7b85b2b99cb4e2f12ad1eba4865deedd71679740 10.0.20.6:11080@21080 myself,master - 0 1650555292000 2 connected 5461-10922
a059c850eb158fcefcaaa45ca789d9ba3e795533 127.0.0.1:11089@21089 slave 7b85b2b99cb4e2f12ad1eba4865deedd71679740 0 1650555292056 2 connected
0701a3bc4f4965d687b25636bd81875e3dc7b06c 127.0.0.1:11081@21081 master - 0 1650555293062 3 connected 10923-16383
f6524917beae827c7a2cccb9bb2e162bd7a496ea 127.0.0.1:11091@21091 slave 92a80c155bbec05d7ab822a724062c4a99b013b7 0 1650555293000 1 connected
171d147c2240834bc1d22db24cba6fd15b36e950 127.0.0.1:11090@21090 slave 0701a3bc4f4965d687b25636bd81875e3dc7b06c 0 1650555292000 3 connected

12.3.3）redis cluster 分配节点

一个集群至少要有三个主节点：

选项 --cluster-replicas 1 ：表示希望为集群中的每个主节点创建一个从节点；

分配原则：尽量保证每个主数据库运行在不同的IP地址，每个从库和主库不在一个IP地址上。

12.3.4）什么是slots

上述合成集群命令成功后：

[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.

16384 slots：

一个 Redis 集群包含 16384 个插槽（hash slot）， 数据库中的每个键都属于这 16384 个插槽的其中一个， 集群使用公式 CRC16(key) % 16384 来计算键 key 属于哪个槽， 其中 CRC16(key) 语句用于计算键 key 的 CRC16 校验和 ；

集群中的每个节点负责处理一部分插槽。 举个例子：

如果一个集群可以有主节点， 其中：

1. 节点 A 负责处理 0 号至 5460 号插槽；

2. 节点 B 负责处理 5461 号至 10922 号插槽；

3. 节点 C 负责处理 10923 号至 16383 号插槽；

127.0.0.1:11080> cluster nodes
92a80c155bbec05d7ab822a724062c4a99b013b7 127.0.0.1:11079@21079 master - 0 1650555294066 1 connected 0-5460
7b85b2b99cb4e2f12ad1eba4865deedd71679740 10.0.20.6:11080@21080 myself,master - 0 1650555292000 2 connected 5461-10922
a059c850eb158fcefcaaa45ca789d9ba3e795533 127.0.0.1:11089@21089 slave 7b85b2b99cb4e2f12ad1eba4865deedd71679740 0 1650555292056 2 connected
0701a3bc4f4965d687b25636bd81875e3dc7b06c 127.0.0.1:11081@21081 master - 0 1650555293062 3 connected 10923-16383
f6524917beae827c7a2cccb9bb2e162bd7a496ea 127.0.0.1:11091@21091 slave 92a80c155bbec05d7ab822a724062c4a99b013b7 0 1650555293000 1 connected
171d147c2240834bc1d22db24cba6fd15b36e950 127.0.0.1:11090@21090 slave 0701a3bc4f4965d687b25636bd81875e3dc7b06c 0 1650555292000 3 connected

12.3.5）在集群中录入值

在redis-cli每次录入、查询键值，redis都会计算出该key应该送往的插槽，如果不是该客户端对应服务器的插槽，redis会报错，并告知应前往的redis实例地址和端口；

redis-cli客户端提供了 –c 参数实现自动重定向；

如 redis-cli -c –p 11079 登入后，再录入、查询键值对可以自动重定向；

不在一个slot下的键值，是不能使用mget,mset等多键操作：

127.0.0.1:11080> mset name luck age 20 address china
(error) CROSSSLOT Keys in request don't hash to the same slot

可以通过{}来定义组的概念，从而使key中{}内相同内容的键值对放到一个slot中去

127.0.0.1:11080> mset name{user} luck age{user} 20 address{user} china
OK

12.3.6）查询集群中的值

CLUSTER GETKEYSINSLOT <slot><count> 返回 count 个 slot 槽中的键。

# 查询key值对应的插槽值
127.0.0.1:11080> cluster keyslot k1
(integer) 12706
# 计算连接的服务端对应的插槽值中包含几个key值
127.0.0.1:11080> set k3 v3
-> Redirected to slot [4576] located at 127.0.0.1:11079
OK
127.0.0.1:11079> cluster countkeysinslot 4576
(integer) 0
# 返回插槽值中的键值
127.0.0.1:11079> cluster getkeysinslot 4576 1
1) "k3"

12.3.7）故障恢复

如果主节点下线，从节点能否自动升为主节点？注意：15秒超时

查看节点信息，停止11079服务：

# 查看节点信息
[root@VM-20-6-centos src]# redis-cli -c -h 127.0.0.1 -p 11080
127.0.0.1:11080> cluster nodes
92a80c155bbec05d7ab822a724062c4a99b013b7 127.0.0.1:11079@21079 master - 0 1650557318414 1 connected 0-5460
7b85b2b99cb4e2f12ad1eba4865deedd71679740 10.0.20.6:11080@21080 myself,master - 0 1650557313000 2 connected 5461-10922
a059c850eb158fcefcaaa45ca789d9ba3e795533 127.0.0.1:11089@21089 slave 7b85b2b99cb4e2f12ad1eba4865deedd71679740 0 1650557316406 2 connected
0701a3bc4f4965d687b25636bd81875e3dc7b06c 127.0.0.1:11081@21081 master - 0 1650557317000 3 connected 10923-16383
f6524917beae827c7a2cccb9bb2e162bd7a496ea 127.0.0.1:11091@21091 slave 92a80c155bbec05d7ab822a724062c4a99b013b7 0 1650557315402 1 connected
171d147c2240834bc1d22db24cba6fd15b36e950 127.0.0.1:11090@21090 slave 0701a3bc4f4965d687b25636bd81875e3dc7b06c 0 1650557317410 3 connected
127.0.0.1:11080> 
# 停止11079服务
[root@VM-20-6-centos src]# kill -9 411
[root@VM-20-6-centos src]# redis-cli -c -h 127.0.0.1 -p 11080
# 再次查看节点信息
127.0.0.1:11080> cluster nodes
92a80c155bbec05d7ab822a724062c4a99b013b7 127.0.0.1:11079@21079 master,fail - 1650557361597 1650557359000 1 connected
7b85b2b99cb4e2f12ad1eba4865deedd71679740 10.0.20.6:11080@21080 myself,master - 0 1650557456000 2 connected 5461-10922
a059c850eb158fcefcaaa45ca789d9ba3e795533 127.0.0.1:11089@21089 slave 7b85b2b99cb4e2f12ad1eba4865deedd71679740 0 1650557457265 2 connected
0701a3bc4f4965d687b25636bd81875e3dc7b06c 127.0.0.1:11081@21081 master - 0 1650557454000 3 connected 10923-16383
f6524917beae827c7a2cccb9bb2e162bd7a496ea 127.0.0.1:11091@21091 master - 0 1650557454243 7 connected 0-5460
171d147c2240834bc1d22db24cba6fd15b36e950 127.0.0.1:11090@21090 slave 0701a3bc4f4965d687b25636bd81875e3dc7b06c 0 1650557456260 3 connected

发现在11079主机服务停止后，其从机11091自动升级为主机，再次重启11079

# 重启11079
[root@VM-20-6-centos myredis]# redis-server redis11079.conf 
# 查看集群信息
127.0.0.1:11080> cluster nodes
92a80c155bbec05d7ab822a724062c4a99b013b7 127.0.0.1:11079@21079 slave f6524917beae827c7a2cccb9bb2e162bd7a496ea 0 1650557972312 7 connected
7b85b2b99cb4e2f12ad1eba4865deedd71679740 10.0.20.6:11080@21080 myself,master - 0 1650557968000 2 connected 5461-10922
a059c850eb158fcefcaaa45ca789d9ba3e795533 127.0.0.1:11089@21089 slave 7b85b2b99cb4e2f12ad1eba4865deedd71679740 0 1650557970303 2 connected
0701a3bc4f4965d687b25636bd81875e3dc7b06c 127.0.0.1:11081@21081 master - 0 1650557969298 3 connected 10923-16383
f6524917beae827c7a2cccb9bb2e162bd7a496ea 127.0.0.1:11091@21091 master - 0 1650557971000 7 connected 0-5460
171d147c2240834bc1d22db24cba6fd15b36e950 127.0.0.1:11090@21090 slave 0701a3bc4f4965d687b25636bd81875e3dc7b06c 0 1650557971307 3 connected

11079重启，11091依旧是主机，1107后变为从机

如果所有某一段插槽的主从节点都宕掉，redis服务是否还能继续?

1. 取决于redis.conf中的参数 cluster-require-full-coverage

2. 如果某一段插槽的主从都挂掉，而cluster-require-full-coverage 为yes ，那么 ，整个集群都挂掉；

3. 如果某一段插槽的主从都挂掉，而cluster-require-full-coverage 为no ，那么，该插槽数据全都不能使用，也无法存储。

12.3.8）集群的Jedis开发

即使连接的不是主机，集群会自动切换主机存储，主机写，从机读；

无中心化主从集群，无论从哪台主机写的数据，其他主机上都能读到数据。

示例代码如下：

public class RedisClusterDemo {
 ?  public static void main(String[] args) {
 ? ? ?  //创建redis集群对象
 ? ? ?  HostAndPort hostAndPort = new HostAndPort("82.157.183.197", 11079);
 ? ? ?  JedisCluster jedisCluster = new JedisCluster(hostAndPort);
 ? ? ?  //进行操作
 ? ? ?  jedisCluster.set("b1","value1");
 ? ? ?  String value = jedisCluster.get("b1");
 ? ? ?  System.out.println("value: "+value);
 ? ? ?  // 输出：value: value1
 ? ? ?  jedisCluster.close();
 ?  }
}

12.3.9）Redis 集群的优势与不足

优点：

1. 实现扩容；

2. 分摊压力；

3. 无中心配置相对简单；

不足：

1. 多键操作是不被支持的 ；

2. 多键的Redis事务是不被支持的，lua脚本不被支持；

3. 由于集群方案出现较晚，很多公司已经采用了其他的集群方案，而代理或者客户端分片的方案想要迁移至redis cluster，需要整体迁移而不是逐步过渡，复杂度较大。

阅读世界，共赴山海

423全民读书节，邀你共读