Redis脑裂
- 假设现在有三台机器,分别安装了redis服务,结构如图
- 如果此时master服务器所在区域网络通信出现异常,导致和两台slave机器无法正常通信,但是和
客户端的连接是正常的。那么sentinel就会从两台slave机器中选举其中一个作为新的master来处 理客户端请求。 - 这个时候,已经存在两台master服务器,client发送的数据会持续保存在旧的master服务器中,而
新的master和slave中没有新的数据。如果一分钟以后,网络恢复正常,服务之间能够正常通信。 此时,sentinel会把旧的master会变成新的master的slave节点。 2.2 解决方案 redis.conf配置参数:
min-replicas-to-write 1
min-replicas-max-lag 10
第一个参数表示最少的slave节点为1个 第二个参数表示数据复制和同步的延迟不能超过10秒 配置了这两个参数:如果发生脑裂:原master会在客户端写入操作的时候拒绝请求。这样可以避免大量 数据丢失。
缓存预热
新启动的系统没有任何缓存数据,在缓存重建数据的过程中,系统性能和数据库负载都不太好,所以最 好是在系统上线之前就把要缓存的热点数据加载到缓存中,这种缓存预加载手段就是缓存预热。
缓存穿透
如果某个key对应的数据不存在,而又未对该key做缓存,所以每次请求都会穿过缓存直接到数据库进行 查询,并发量高的情况下进而导致数据库直接宕机,这就是缓存穿透。 解决方案
- 对空值缓存:如果一个查询返回的数据为空(不管数据是否存在),我们仍然把这个空结果缓存,
设置空结果的过期时间会很短,最长不超过5分钟。 - 设置白名单:使用bitmaps类型定义一个可以访问的名单,用户id作为偏移量,每次访问查询是否
在白名单中,如果不存在,则拒绝访问。 - 布隆过滤器:类似一个hash set,用来判断某个元素(key)是否在某个集合中。
和一般的hash set不同的是,这个算法无需存储key的值,对于每个key,只需要k个比特位,每个 存储一个标志,用来判断key是否在集合中。
缓存击穿
某一个热点 key,在缓存过期的一瞬间,同时有大量的请求打进来,由于此时缓存过期了,所以请求最 终都会走到数据库,造成瞬时数据库请求量大、压力骤增,甚至可能打垮数据库。 解决方案
- 加互斥锁:在并发的多个请求中,只有第一个请求线程能拿到锁并执行数据库查询操作,其他的线
程拿不到锁就阻塞等着,等到第一个线程将数据写入缓存后,其他线程直接查询缓存。 - 热点数据不过期:直接将缓存设置为不过期,然后由定时任务去异步加载数据,更新缓存。
缓存雪崩
缓存雪崩是指在我们设置缓存时采用了相同的过期时间,导致缓存在某一时刻同时失效,请求全部转发 到DB,DB瞬时压力过重雪崩。 和缓存击穿不同的是,缓存击穿指并发查同一条数据,缓存雪崩是不同数据都过期了,很多数据都查不 到从而查数据库。 解决方案
- 缓存数据的过期时间设置随机,防止同一时间大量数据过期现象发生。
- 如果缓存数据库是分布式部署,将热点数据均匀分布在不同搞得缓存数据库中。
- 设置热点数据永远不过期。
|