原文地址:https://program-park.github.io/2021/09/03/redis_11/
Redis 提供了 2 个不同形式的持久化方式:
- RDB(Redis Database)
- AOF(Append Of File)
在指定的内将内存中的数据集写入磁盘,也就是我们常说的 Snapshot 快照,它恢复时是将快照文件直接读到内存中。
Redis会单独创建(fork)一个子进程来进行持久化,会先将数据写入到 一个中,待持久化过程都结束了,再用这个好的文件。 整个过程中,主进程是不进行任何IO操作的,这就确保了极高的性能 如果需要进行大规模数据的恢复,且对于数据恢复的完整性不是非常敏感,那 RDB 方式要比 AOF 方式更加的高效。
- Fork的作用是复制一个与当前进程。新进程的所有数据(变量、环境变量、程序计数器等) 数值都和原进程一致,但是是一个全新的进程,并
- 在Linux程序中,fork() 会产生一个和父进程完全相同的子进程,但子进程在此后多会 exec 系统调用,出于效率考虑,Linux中引入了
- ,只有进程空间的各段的内容要发生变化时,才会将父进程的内容复制一份给子进程
-
save VS bgsave
- save
- save 时只会保存,其他不管,全部阻塞(不建议)
- bgsave
- Redis 会在后台异步进行快照操作, 快照同时还可以响应客户端请求
可以通过lastsave 命令获取最后一次成功执行快照的时间。
- save
-
执行命令,也会产生文件,但里面是空的,无意义。
-
退出 redis,也会产生 rdb 文件。
可以通过查询 rdb 文件的目录,然后将的文件拷贝到别的地方。
rdb 的恢复:
- 关闭 Redis
- 先把备份的文件拷贝到工作目录下
- 启动 Redis,备份数据会直接加载
- 的时候,内存中的数据被克隆了一份,大致 2 倍的膨胀性需要考虑
- 虽然 Redis 在 fork 时使用了写时拷贝技术,但是如果数据庞大时还是比较消耗性能
- 备份周期在一定间隔时间做一次备份,所以如果 Redis 意外 down 掉的话,就会丢失最后一次快照后的所有修改
,将 Redis 执行过的所有写指令记录下来, ,redis 启动之初会读取该文件重新构建数据,换言之,redis 重启的话就根据日志文件的内容将写指令从前到后执行一次以完成数据的恢复工作。
- 客户端的请求写命令会被 append 追加到 AOF 缓冲区内;
- AOF 缓冲区根据 AOF 持久化策略将操作 sync 同步到磁盘的 AOF 文件中(更多详情可参考Redis配置文件详解);
- AOF 文件大小超过重写策略或手动重写时,会对 AOF 文件 rewrite 重写,压缩 AOF 文件容量;
- Redis 服务重启时,会重新 load 加载 AOF 文件中的写操作达到数据恢复的目的;
可以在中配置文件名称,默认为
AOF 文件的保存路径,同 RDB 的路径一致
AOF 和 RDB 同时开启,系统默认取 AOF 的数据(数据不会存在丢失)
- AOF 的备份机制和性能虽然和 RDB 不同, 但是备份和恢复的操作同 RDB 一样,都是拷贝备份文件,需要恢复时再拷贝到 Redis 工作目录下,启动系统即加载
- 正常恢复
- 修改默认的,改为 yes
- 将有数据的 aof 文件复制一份保存到对应目录(查看目录:)
- 恢复:重启 redis 然后重新加载
- 异常恢复
- 修改默认的,改为 yes
- 如遇到,通过进行恢复
- 备份被写坏的 AOF 文件
- 恢复:重启redis,然后重新加载
-
- 始终同步,每次Redis的写入都会立刻记入日志;性能较差但数据完整性比较好
-
- 每秒同步,每秒记入日志一次,如果宕机,本秒的数据可能丢失
-
- redis 不主动进行同步,把同步时机交给操作系统
7.1 Rewrite压缩是什么
AOF 采用文件追加方式,文件会越来越大为避免出现此种情况,新增了重写机制, 当 AOF 文件的大小超过所设定的阈值时,Redis 就会启动 AOF 文件的内容压缩, 只保留可以恢复数据的最小指令集.可以使用命令
7.2 重写原理、触发机制、如何实现重写
重写原理: AOF 文件持续增长而过大时,会 fork 出一条新进程来将文件重写(也是先写临时文件最后再 rename ),redis4.0 版本后的重写,是指上就是把 rdb 的快照,以二级制的形式附在新的 aof 头部,作为已有的历史数据,替换掉原来的流水账操作
- 如果,不写入 aof 文件只写入缓存,用户请求不会阻塞,但是在这段时间如果宕机会丢失这段时间的缓存数据。(降低数据安全性,提高性能)
- 如果, 还是会把数据往磁盘里刷,但是遇到重写操作,可能会发生阻塞。(数据安全,但是性能降低)
触发机制:
Redis 会记录上次重写时的 AOF 大小,默认配置是当 AOF 文件大小是上次 rewrite 后大小的一倍且文件大于 64M 时触发
设置重写的基准值,文件达到 100% 时开始重写(文件是原来重写后文件的2倍时触发)
设置重写的基准值,最小文件 64MB。达到这个值开始重写
例如:文件达到 70MB 开始重写,降到 50MB ,下次什么时候开始重写?100MB
系统载入时或者上次重写完毕时,Redis 会记录此时 AOF 大小,设为base_size,如果 且的情况下,Redis 会对 AOF 进行重写。
7.3 重写流程
- 触发重写,判断是否当前有 bgsave 或 bgrewriteaof 在运行,如果有,则等待该命令结束后再继续执行;
- 主进程 fork 出子进程执行重写操作,保证主进程不会阻塞;
- 子进程遍历 redis 内存中数据到临时文件,客户端的写请求同时写入 aof_buf 缓冲区和 aof_rewrite_buf 重写缓冲区保证原 AOF 文件完整以及新 AOF 文件生成期间的新的数据修改动作不会丢失;
- 子进程写完新的 AOF 文件后,向主进程发信号,父进程更新统计信息;
- 主进程把 aof_rewrite_buf 中的数据写入到新的 AOF 文件;
- 使用新的 AOF 文件覆盖旧的 AOF 文件,完成 AOF 重写
- 备份机制更稳健,丢失数据概率更低
- 可读的日志文本,通过操作 AOF 稳健,可以处理误操作
劣势:
- 比起RDB占用更多的磁盘空间
- 恢复备份速度要慢
- 每次读写都同步的话,有一定的性能压力
- 存在个别Bug,造成恢复失败
用哪个好?
- 官方推荐两个都启用
- 如果对数据不敏感,可以选单独用 RDB
- 不建议单独用 AOF,因为可能会出现 Bug
- 如果只是做纯内存缓存,可以都不用