开发: C++知识库 Java知识库 JavaScript Python PHP知识库人工智能区块链大数据移动开发嵌入式开发工具数据结构与算法开发测试游戏开发网络协议系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑笔记本显卡显示器固态硬盘硬盘耳机手机 iphone vivo oppo 小米华为单反装机图拉丁

-> 大数据 -> Redis 数据备份和恢复 -> 正文阅读

[大数据]Redis 数据备份和恢复

1. Redis性能优化

1.设置最大打开文件数
cat /etc/security/limits.conf
redis soft nofile 100000
redis hard nofile 100000

2.请确保将Linux内核的超额内存设置设为1。
cat /etc/sysctl.conf
vm.overcommit_memory=1
net.core.somaxconn=65535
sysctl -p

3.设置内存大页
cat /etc/rc.local
echo never > /sys/kernel/mm/transparent_hugepage/enabled

system资源限制

# /etc/systemd/system/redis.service
[Unit]
Description=Redis Single Service
After=network.target

[Service]
Type=notify
User=dev
Group=dev
TimeoutStartSec=120s
ExecStart=/data/redis/src/redis-server /data/redis/redis.conf
ExecStop=/data/redis/src/redis-cli shutdown -a w4RedisService
Restart=on-failure
RestartSec=30s
LimitNOFILE=100000
LimitNPROC=65535

[Install]
WantedBy=multi-user.target

2. Redis持久化分类

在Redis中，分别为我们提供了 RDB 和 AOF 两种持久化模式。在4.0及以后版本中，提供了一种混合持久化的功能，就是RDB和AOF结合的持久化模式。

分类如下：

RDB持久化方式是通过快照完成的。RDB程序将当前内存中的数据快照保存到磁盘中，在Redis重启时，RDB程序可以通过载入RDB文件来还原数据库的状态。

AOF(append only file)，是以独立日志的方式记录每次的写命令，重启时在执行文件中的命令来达到恢复数据的目的。

混合模式

混合模式就是同时结合了RDB持久化和AOF持久化混合写入AOF文件。这样就可以结合2者的优点了，快速的加载持久化文件，同时避免数据丢失过多。

3. RDB 持久化

3.1 介绍

RDB（Redis DataBase）是将某一个时刻的内存快照（Snapshot），以二进制的方式写入磁盘的过程。

触发方式

触发rdb持久化的方式有2种，分别是手动触发和自动触发

（1）手动触发

手动触发分别对应save和bgsave命令

save命令：阻塞当前Redis服务器，直到RDB过程完成为止，对于内存比较大的实例会造成长时间阻塞，线上环境不建议使用
bgsave命令：Redis进程执行fork操作创建子进程，RDB持久化过程由子进程负责，完成后自动结束。阻塞只发生在fork阶段，一般时间很短（推荐）

bgsave流程图如下所示

具体流程如下：

redis客户端执行 bgsave 命令或者自动触发 bgsave 命令；
主进程判断当前是否已经存在正在执行的子进程，如果存在，那么主进程直接返回；
如果不存在正在执行的子进程，那么就fork一个新的子进程进行持久化数据，fork过程是阻塞的，fork操作完成后主进程即可执行其他操作；
子进程先将数据写入到临时的rdb文件中，待快照数据写入完成后再原子替换旧的rdb文件；
同时发送信号给主进程，通知主进程rdb持久化完成，主进程更新相关的统计信息（info Persitence下的rdb_*相关选项）。

自动触发

在以下4种情况时会自动触发

redis.conf中配置save m n，即在m秒内有n次修改时，自动触发bgsave生成rdb文件；
主从复制时，从节点要从主节点进行全量复制时也会触发bgsave操作，生成当时的快照发送到从节点；
执行debug reload命令重新加载redis时也会触发bgsave操作；
默认情况下执行shutdown命令时，如果没有开启aof持久化，那么也会触发bgsave操作

3.2 配置说明

快照周期：内存快照虽然可以通过技术人员手动执行SAVE或BGSAVE命令来进行，但生产环境下多数情况都会设置其周期性执行条件。

# 周期性执行条件的设置格式为
save <seconds> <changes>

# 默认的设置为：
save 900 1  # 如果900秒内有1条Key信息发生变化，则进行快照；
save 300 10 # 如果300秒内有10条Key信息发生变化，则进行快照；
save 60 10000  # 如果60秒内有10000条Key信息发生变化，则进行快照。读者可以按照这个规则，根据自己的实际请求压力进行设置调整。

# 以下设置方式为关闭RDB快照功能
save ""

其它相关配置

# RDB持久化数据库文件名，默认dump.rdb
dbfilename dump.rdb

# 数据文件存放目录，rdb快照文件和aof文件都会存放至该目录，请确保有写权限
dir /home/work/app/redis/data/

# yes:代表当使用bgsave命令持久化出错时候停止写RDB快照文件,no:表明忽略错误继续写文件。
stop-writes-on-bgsave-error yes

# 是否开启RDB文件压缩,yes默认开启压缩，no不开启
rdbcompression yes

# 在写入文件和读取文件时是否开启rdb文件检查，检查是否有无损坏，如果在启动是检查发现损坏，则停止启动
rdbchecksum yes

配置查询

127.0.0.1:6379> config get dbfilename # 想要获取 RDB 文件的存储名称设置
127.0.0.1:6379> config get dir    # 查询 RDB 的文件目录

3.3 RDB优缺点

优点

RDB 的内容为二进制的数据，占用内存更小，更紧凑，更适合做为备份文件；
RDB 对灾难恢复非常有用，它是一个紧凑的文件，可以更快的传输到远程服务器进行 Redis 服务恢复；
RDB 可以更大程度的提高 Redis 的运行速度，因为每次持久化时 Redis 主进程都会 fork() 一个子进程，进行数据持久化到磁盘，Redis 主进程并不会执行磁盘 I/O 等操作；
与 AOF 格式的文件相比，RDB 文件可以更快的重启。

缺点

因为 RDB 只能保存某个时间间隔的数据，如果中途 Redis 服务被意外终止了，则会丢失一段时间内的 Redis 数据；
RDB 需要经常 fork() 才能使用子进程将其持久化在磁盘上。如果数据集很大，fork() 可能很耗时，并且如果数据集很大且 CPU 性能不佳，则可能导致 Redis 停止为客户端服务几毫秒甚至一秒钟。

4. AOF 持久化

4.1 介绍

AOF(Append-Only File)记录Redis中每次的写命令，类似mysql中的binlog，服务重启时会重新执行AOF中的命令将数据恢复到内存中，RDB(按策略持久化)持久化方式记录的粒度不如AOF(记录每条写命令)，因此很多生产环境都是开启AOF持久化。

AOF日志记录Redis的每个写命令，步骤分为：命令追加（append）、文件写入（write）和文件同步（sync）。

命令追加 当AOF持久化功能打开了，服务器在执行完一个写命令之后，会以协议格式将被执行的写命令追加到服务器的 aof_buf 缓冲区。
文件写入和同步 关于何时将 aof_buf 缓冲区的内容写入AOF文件中，Redis提供了三种写回策略：always、everysec、no

触发持久化

AOF 的触发条件分为两种：自动触发和手动触发。

（1）手动触发

在客户端执行 bgrewriteaof 命令就可以手动触发 AOF 持久化，如下图所示：

可以看出执行完 bgrewriteaof 命令之后，AOF 持久化就会被触发。

（2）自动触发

有两种情况可以自动触发 AOF 持久化，分为是：**满足 AOF 设置的策略触发 **和 **满足 AOF 重写触发。**其中，AOF 重写触发会在本文的后半部分详细介绍，这里重点来说 AOF 持久化策略，配置 Redis 多久才将数据 fsync（同步）到磁盘一次。

AOF 持久化策略，分为以下三种：

always：每条 Redis 操作命令都会写入磁盘，最多丢失一条数据；
everysec：每秒钟写入一次磁盘，最多丢失一秒的数据；
no：不设置写入磁盘的规则，根据当前操作系统来决定何时写入磁盘，Linux 默认 30s 写入一次数据至磁盘。

推荐（并且也是默认）的措施为每秒 fsync 一次，这种 fsync 策略可以兼顾速度和安全性。

注：因为每次写入磁盘都会对 Redis 的性能造成一定的影响，所以要根据用户的实际情况设置相应的策略，一般设置每秒写入一次磁盘的频率就可以满足大部分的使用场景了。

4.2 配置

# appendonly参数开启AOF持久化
appendonly yes
 
# AOF文件名
appendfilename "appendonly.aof"

# AOF文件的保存位置和RDB文件的位置相同，都是通过dir参数设置的
dir ./
 
# AOF同步策略，一般都是选择第一种[always:每个命令都记录],[everysec:每秒记录一次],[no:看机器的心情高兴了就记录]
appendfsync always
#appendfsync everysec
# appendfsync no
 
# 配置重写触发机制
# aof文件大小比起上次重写时的大小,增长100%(配置可以大于100%)时,触发重写。[假如上次重写后大小为10MB，当AOF文件达到20MB时也会再次触发重写，以此类推]
auto-aof-rewrite-percentage 100 
# aof文件大小超过64MB时,触发重写
auto-aof-rewrite-min-size 64mb

4.3 深入理解AOF重写

AOF持久化机制记录每个写命令，当服务重启的时候会复现AOF文件中的所有命令，会消耗太多的资源且重启很慢。因此为了避免AOF文件中的写命令太多文件太大，Redis引入了AOF的重写机制来压缩AOF文件体积。AOF文件重写是把Redis进程内的数据转化为写命令同步到新AOF文件的过程。

把过期的，没有用的，重复的，可优化的命令简化为很小的aof文件。实际上是redis内存中的数据回溯成aof文件。

重写流程：

bgrewriteaof 触发重写，判断是否当前有 bgsave 或 bgrewriteaof 在运行，如果有，则等待该命令结束后再继续执行。
主进程fork出子进程执行重写操作，保证主进程不会阻塞。
子进程遍历redis内存中数据到临时文件，客户端的写请求同时写入 aof_buf 缓冲区和 aof_rewrite_buf 重写缓冲区保证原AOF文件完整以及新AOF文件生成期间的新的数据修改动作不会丢失。
子进程写完新的AOF文件后，向主进程发信号，父进程更新统计信息。主进程把aof_rewrite_buf中的数据写入到新的AOF文件。
使用新的AOF文件覆盖旧的AOF文件，完成AOF重写。

5. RDB和AOF混合方式（4.0版本)

Redis 4.0 中提出了一个混合使用 AOF 日志和内存快照的方法。简单来说，内存快照以一定的频率执行，在两次快照之间，使用 AOF 日志记录这期间的所有命令操作。

原理：混合持久化同样也是通过 bgrewriteaof 重写命令完成的，不同的是当开启混合持久化时，fork出的子进程先将共享的内存副本全量的以RDB方式写入aof文件，然后在将重写缓冲区的增量命令以AOF方式写入到文件，写入完成后通知主进程更新统计信息，并将新的含有RDB格式和AOF格式的AOF文件替换旧的的AOF文件。

简单的说：新的AOF文件前半段是RDB格式的全量数据后半段是AOF格式的增量数据。如图所示

配置

# 我们可以在appendonly yes命令 下面加上以下的配置，然后重启Reids
aof-use-rdb-preamble yes

6. 数据恢复实战操作

本次实验redis版本由3.2.12升级到4.0.0，并开启混合持久化，迁移RDB数据，验证数据是否正常

6.1 AOF和RDB的恢复顺序

当Redis服务重启时数据恢复的顺序如下：

判断是否开启AOF持久化，若开启了AOF，则使用AOF持久化文件恢复数据，否则使用RDB持久化文件恢复数据；
若AOF文件不存在则从RDB文件恢复【其实并没有】；若AOF文件存在则使用AOF文件恢复；
若AOF文件和RDB文件都不存在则直接启动Redis；
若AOF或RDB文件出现错误，则启动失败返回错误信息；

6.2 恢复流程

流程较为复杂，需要严格按照以下步骤

修改配置文件方式关闭aof备份功能，但要开启rdb备份功能；
一定要开启热修改配置功能，这步很重要，所以单独列一条来写
把备份的rdb文件拷贝过去，同时重启redis
通过命令config set appendonly yes开启aof备份功能，执行命令后就会自动产生appendon ly.aof这个文件，此时rdb和aof文件数据同步了
然后关闭redis,修改配置文件开启aof备份功能；
然后开启redis，此时才叫数据恢复成功。

6.3 安装3.2.12并备份数据

# wget http://download.redis.io/releases/redis-3.2.12.tar.gz
# wget http://download.redis.io/releases/redis-4.0.0.tar.gz
tar -zxvf redis-3.2.12.tar.gz -C /data/
mv /data/redis-3.2.12 /data/redis
mkdir /data/redis/data
yum install -y gcc gcc-c++ make tcl-devel
cd /data/redis && make &&     # make负责编译，make install负责将二进制文件安装到/usr/local/bin
cd /data/redis/src && make install && make test           # 测试确保编译无误
cp /data/redis/redis.conf /data/redis/redis.conf.bak

# redis-3.2.12.conf
supervised systemd
dir /data/redis/data
daemonize yes
pidfile /data/redis/redis.pid
port 6379
bind 0.0.0.0
requirepass w4RedisService

loglevel warning
maxclients 65535
tcp-backlog 10240
appendonly no
save 900 1
save 300 10
save 60 10000
maxmemory 50499420160

# /etc/systemd/system/redis.service
[Unit]
Description=Redis Single Service
After=network.target

[Service]
Type=notify
User=root
Group=root
TimeoutStartSec=120s
ExecStart=/data/redis/src/redis-server /data/redis/redis.conf
ExecStop=/data/redis/src/redis-cli shutdown -a w4RedisService
Restart=on-failure
RestartSec=30s
LimitNOFILE=100000
LimitNPROC=65535

[Install]
WantedBy=multi-user.target

插入数据

[root@localhost redis]# redis-cli -a w4RedisService
127.0.0.1:6379>set company1 huanle1
127.0.0.1:6379>set company2 huanle2
127.0.0.1:6379>set company3 huanle3
127.0.0.1:6379>bgsave
127.0.0.1:6379>exit

#重启服务
[root@localhost redis]#systemctl restart redis

6.4 升级4.0.0并恢复数据

tar -zxvf redis-4.0.0.tar.gz
cd redis-4.0.0
make
cd src && make install
make test

# # redis-4.0.0.conf
# 先不要开启aof相关配置，否则数据无法同步
supervised systemd
daemonize no
dir /data/redis/data
#pidfile /data/redis/redis.pid
port 6379
bind 0.0.0.0
requirepass w4RedisService

loglevel warning
maxclients 65535
tcp-backlog 10240
save 900 1
save 300 10
save 60 10000
maxmemory 50499420160
appendonly yes
aof-use-rdb-preamble yes

# 重命名旧的目录和新版本目录
mv redis redis.bak
mv redis-4.0.0 redis
cd /data/redis/data
cp dump.rdb-bak dump.rdb
systemctl start redis

# 查看RDB数据是否已经恢复，命令行设置开启aof备份功能，执行命令后就会自动产生appendonly.aof这个文件，完成rdb和aof数据同步
[root@localhost redis]# redis-cli -a w4RedisService
127.0.0.1:6379> keys *
1) "company1"
2) "company2"
3) "company3"
127.0.0.1:6379> config set appendonly yes
127.0.0.1:6379> exit

# 接着关闭redis，配置文件中设置永久开启AOF持久化
[root@localhost redis]# systemctl stop redis
[root@localhost redis]# cat redis.conf
appendonly yes
[root@localhost redis]# systemctl start redis

# 配置混合持久化功能
[root@localhost redis]# redis-cli -a w4RedisService
127.0.0.1:6379> config set aof-use-rdb-preamble yes  # 开启RDB+AOF混合持久化功能
OK
127.0.0.1:6379> bgrewriteaof  # 手动触发AOF重写
Background append only file rewriting started
127.0.0.1:6379> set name hanjianjuan
OK
127.0.0.1:6379> quit

# 接着关闭reids，配置文件中设置永久开启混合持久化
[root@localhost redis]# systemctl stop redis
[root@localhost redis]# cat redis.conf
aof-use-rdb-preamble yes
[root@localhost redis]# systemctl start redis