articleList

13-【高级篇】分布式缓存 Redis6.x 持久化配置实战-AOF 和 RDB

2025/03/16 posted in  Redis
Tags: 

第 1 集 Redis6.x 持久化介绍和 RDB 讲解

简介： Redis6.x 持久化配置介绍和 RDB 讲解

  • Redis 持久化介绍

    • Redis 是一个内存数据库，如果没有配置持久化，redis 重启后数据就全丢失
    • 因此开启 redis 的持久化功能，将数据保存到磁盘上，当 redis 重启后，可以从磁盘中恢复数据。

  • 两种持久化方式

    • RDB (Redis DataBase)
    • AOF (append only file）

  • RDB 持久化介绍

    • 在指定的时间间隔内将内存中的数据集快照写入磁盘

    • 默认的文件名为 dump.rdb

    • 产生快照的情况

      • save

        • 会阻塞当前 Redis 服务器，执行 save 命令期间，Redis 不能处理其他命令，直到 RDB 过程完成为止

      • bgsave

        • fork 创建子进程，RDB 持久化过程由子进程负责，会在后台异步进行快照操作，快照同时还可以响应客户端请求

      • 自动化

        • 配置文件来完成，配置触发 Redis 的 RDB 持久化条件
        • 比如 "save m n"。表示 m 秒内数据集存在 n 次修改时，自动触发 bgsave

      • 主从架构

        • 从服务器同步数据的时候，会发送 sync 执行同步操作，master 主服务器就会执行 bgsave

  • 优点

    • RDB 文件紧凑，全量备份，适合用于进行备份和灾难恢复
    • 在恢复大数据集时的速度比 AOF 的恢复速度要快
    • 生成的是一个紧凑压缩的二进制文件

  • 缺点

    • 每次快照是一次全量备份，fork 子进程进行后台操作，子进程存在开销
    • 在快照持久化期间修改的数据不会被保存，可能丢失数据

  • 核心配置

    • dir 持久化文件的路径
    • dbfilename 文件名
    #任何ip可以访问
bind 0.0.0.0
​
#守护进程
daemonize yes
​
#密码
requirepass 123456
​
#日志文件
logfile "/usr/local/redis/log/redis.log"
​
#持久化文件名称
dbfilename xdclass.rdb
​
#持久化文件存储路径
dir /usr/local/redis/data
​
#持久化策略, 10秒内有个1个key改动，执行快照
save 10 1
​
######之前配置######
​
#导出rdb数据库文件压缩字符串和对象,默认是yes，会浪费CPU但是节省空间
rdbcompression yes
# 导入时是否检查
rdbchecksum yes

第 2 集 分布式缓存 Redis6.x 持久化配置 RDB 操作实战

简介： 分布式缓存 Redis6.x 持久化配置 RDB 操作实战

  • 配置持久化

    • dir 持久化文件的路径
    • dbfilename 文件名

  • save

  • bgsave

  • 配置文件触发

bind 0.0.0.0
​
daemonize yes
​
requirepass 123456Xdclass
​
logfile "/usr/local/redis/log/redis.log"
​
dbfilename xdclass.rdb
​
dir /usr/local/redis/data
​
#关闭rdb
#save ""
​
#10秒2个key变动则触发rdb
save 10 2
#100秒5个key变动则触发rdb
save 100 5
​
#压缩
rdbcompression yes
#检查
rdbchecksum yes

  • 备注: linux 内存分配策略

    0 表示内核将检查是否有足够的可用内存供应用进程使用；如果有足够的可用内存，内存申请允许；否则，内存申请失败，并把错误返回给应用进程
​
1 表示内核允许分配所有的物理内存，而不管当前的内存状态如何
2 表示内核允许分配超过所有物理内存和交换空间总和的内存
​
解决方式
echo 1 > /proc/sys/vm/overcommit_memory
​
持久化配置
vim /etc/sysctl.conf
​
改为
vm.overcommit_memory=1
修改sysctl.conf后，需要执行 sysctl -p 以使生效

第 3 集 Redis6.x 持久化配置 AOF 介绍和配置实战

简介： Redis6.x 持久化配置 AOF 介绍和配置实战

  • AOF 持久化介绍

    • append only file，追加文件的方式，文件容易被人读懂
    • 以独立日志的方式记录每次写命令， 重启时再重新执行 AOF 文件中的命令达到恢复数据的目的
    • 写入过程宕机，也不影响之前的数据，可以通过 redis-check-aof 检查修复问题

  • 配置实战

    • appendonly yes，默认不开启
    • AOF 文件名 通过 appendfilename 配置设置，默认文件名是 appendonly.aof
    • 存储路径同 RDB 持久化方式一致，使用 dir 配置

  • 核心原理

    • Redis 每次写入命令会追加到 aof_buf（缓冲区）
    • AOF 缓冲区根据对应的策略向硬盘做同步操作
    • 高频 AOF 会带来影响，特别是每次刷盘

  • 提供了 3 种同步方式，在性能和安全性方面做出平衡

    • appendfsync always

      • 每次有数据修改发生时都会写入 AOF 文件，消耗性能多

    • appendfsync everysec

      • 每秒钟同步一次，该策略为 AOF 的缺省策略。

    • appendfsync no

      • 不主从同步，由操作系统自动调度刷磁盘，性能是最好的，但是最不安全
bind 0.0.0.0
​
daemonize yes
​
requirepass 123456Xdclass
​
logfile "/usr/local/redis/log/redis.log"
​
dbfilename xdclass.rdb
​
dir /usr/local/redis/data
​
#save 10 2
#save 100 5
save ""
rdbcompression yes
#对rdb数据进行校验，耗费CPU资源，默认为yes
rdbchecksum yes
​
appendonly yes
appendfilename "appendonly.aof"
appendfsync everysec

第 4 集 Redis6.x 持久化配置 AOF 重新 rewrite 配置实战

简介： Redis6.x 持久化配置 AOF 重新 rewrite 配置实战

  • rewrite 重写介绍

    • AOF 文件越来越大，需要定期对 AOF 文件进行重写达到压缩
    • 旧的 AOF 文件含有无效命令会被忽略，保留最新的数据命令
    • 多条写命令可以合并为一个
    • AOF 重写降低了文件占用空间
    • 更小的 AOF 文件可以更快地被 Redis 加载

  • 重写触发配置

    • 手动触发

      • 直接调用 bgrewriteaof 命令

    • 自动触发

      • auto-aof-rewrite-min-size 和 auto-aof-rewrite-percentage 参数

      • auto-aof-rewrite-min-size

        • 表示运行 AOF 重写时文件最小体积，默认 为 64MB。

      • auto-aof-rewrite-percentage

        • 代表当前 AOF 文件空间和上一次重写后 AOF 文件空间（aof_base_size）的比值。

  • 常用配置

    # 是否开启aof
appendonly yes
​
# 文件名称
appendfilename "appendonly.aof"
​
# 同步方式
appendfsync everysec
​
# aof重写期间是否同步
no-appendfsync-on-rewrite no
​
# 重写触发配置
auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 64mb
​
# 加载aof时如果有错如何处理
# yes表示如果aof尾部文件出问题，写log记录并继续执行。no表示提示写入等待修复后写入
​
aof-load-truncated yes

第 5 集 Redis6.x 持久化配置 AOF+RDB 的选择问题和混合模式

简介： Redis6.x 持久化配置 AOF 和 RDB 的选择问题

  • Redis 提供了不同的持久性选项：

    • RDB 持久化以指定的时间间隔执行数据集的时间点快照。
    • AOF 持久化记录服务器接收的每个写入操作，将在服务器启动时再次读取，重建原始数据集。使用与 Redis 协议本身相同的格式以仅追加方式记录命令，当文件太大时，Redis 能够重写

  • 补充之前的配置

    auto-aof-rewrite-min-size
AOF文件最小重写大小，只有当AOF文件大小大于该值时候才可能重写,6.x默认配置64mb
​
auto-aof-rewrite-percentage
当前AOF文件大小和最后一次重写后的大小之间的比率等于或者等于指定的增长百分比，如100代表当前AOF文件是上次重写的两倍时候才重写

  • RDB 的优缺点

    • 优点：

      • RDB 最大限度地提高了 Redis 的性能，父进程不需要参与磁盘 I/O
      • RDB 文件紧凑，全量备份，适合用于进行备份和灾难恢复
      • 在恢复大数据集时的速度比 AOF 的恢复速度要快
      • 生成的是一个紧凑压缩的二进制文件

    • 缺点：

      • 如果您需要在 Redis 停止工作时（例如断电后）将数据丢失的可能性降至最低，则 RDB 并不好
      • RDB 经常需要 fork 才能使用子进程持久存储在磁盘上。如果数据集很大，Fork 可能会非常耗时

  • AOF 的优缺点

    • 优点：

      • 数据更加安全
      • 当 Redis AOF 文件太大时，Redis 能够在后台自动重写 AOF
      • AOF 以易于理解和解析的格式，一个接一个地包含所有操作的日志

    • 缺点：

      • AOF 文件通常比同一数据集的等效 RDB 文件大
      • 根据确切的 fsync 策略，恢复的时候 AOF 可能比 RDB 慢

  • 在线上我们到底该怎么做？

    • RDB 持久化与 AOF 持久化一起使用
    • 如果 Redis 中的数据并不是特别敏感或者可以通过其它方式重写生成数据
    • 集群中可以关闭 AOF 持久化，靠集群的备份方式保证可用性
    • 自己制定策略定期检查 Redis 的情况，然后可以手动触发备份、重写数据；
    • 采用集群和主从同步

  • Redis4.0 后开始的 rewrite 支持混合模式

    • 就是 rdb 和 aof 一起用

    • 直接将 rdb 持久化的方式来操作将二进制内容覆盖到 aof 文件中,rdb 是二进制，所以很小

    • 有写入的话还是继续 append 追加到文件原始命令，等下次文件过大的时候再次 rewrite

    • 默认是开启状态

    • 好处

      • 混合持久化结合了 RDB 持久化 和 AOF 持久化的优点,采取了 rdb 的文件小易于灾难恢复
      • 同时结合 AOF，增量的数据以 AOF 方式保存了，数据更少的丢失

    • 坏处

      • 前部分是 RDB 格式，是二进制，所以阅读性较差

    • 数据恢复

      • 先看是否存在 aof 文件，若存在则先按照 aof 文件恢复，aof 比 rdb 全，且 aof 文件也 rewrite 成 rdb 二进制格式
      • 若 aof 不存在，则才会查找 rdb 是否存在