最新要闻

广告

手机

iphone11大小尺寸是多少？苹果iPhone11和iPhone13的区别是什么？

iphone11大小尺寸是多少？苹果iPhone11和iPhone13的区别是什么？

 警方通报辅警执法直播中被撞飞：犯罪嫌疑人已投案

警方通报辅警执法直播中被撞飞：犯罪嫌疑人已投案

家电

  1. 首页
  2. 移动通信
  3. 内容

宕机了，Redis 如何避免数据丢失？

来源：博客园

前言

大家好，我是小卷聊开发

​如果有人问你："你会把 Redis 用在什么业务场景下？"我想你大概率会说："我会把它当作缓存使用，因为它把后端数据库中的数据存储在内存中，然后直接从内存中读取数据，响应速度会非常快。"


(资料图片仅供参考)

没错，这确实是 Redis 的一个普遍使用场景，但是，这里也有一个绝对不能忽略的问题：「一旦服务器宕机，内存中的数据将全部丢失」。

目前，Redis 的持久化主要有两大机制，即「AOF（Append Only File）日志和 RDB（Redis DataBase） 快照」。

1.AOF

日志是如何实现的说到日志，我们比较熟悉的是数据库的写前日志（Write Ahead Log, WAL），在实际写数据前，先把修改的数据记到日志文件中，以便故障时进行恢复。不过，AOF 日志正好相反，它是写后日志，"写后"的意思是 Redis 是先执行命令，把数据写入内存，然后才记录日志。AOF 里记录的是 Redis 收到的每一条命令，这些命令是以文本形式保存的。

我们以 Redis 收到“set testkey testvalue”命令后记录的日志为例，看看 AOF 日志的内容。其中，“*3”表示当前命令有三个部分，每部分都是由“数字开头，后面紧跟着具体的命令、键或值。这里，数字表示这部分中的命令、键或值一共有多少字节。例如，3 set”表示这部分有 3 个字节，也就是“set”命令。写后日志的优势与风险「为了避免额外的检查开销，Redis 在向 AOF 里面记录日志的时候，并不会先去对这些命令进行语法检查」。

如果先记日志再执行命令的话，日志中就有可能记录了错误的命令，Redis 在使用日志恢复数据时，就可能会出错。而写后日志这种方式，就是先让系统执行命令，只有命令能执行成功，才会被记录到日志中，否则，系统就会直接向客户端报错。

所以，Redis 使用写后日志这一方式的一大好处是，可以避免出现记录错误命令的情况。

除此之外，写后日志一个好处：它是在命令执行后才记录日志，「不会阻塞当前的写操作」。

AOF 也有两个潜在的风险：

  • 风险一：如果刚执行完一个命令，还没有来得及记日志就宕机了，那么这个命令和相应的数据就有丢失的风险。
  1. 如果此时 Redis 是用作缓存，还可以从后端数据库重新读入数据进行恢复。
  2. 如果Redis是直接用作数据库的话，此时，因为命令没有记入日志，所以就无法用日志进行恢复了。
  • 风险二：AOF虽然避免了对当前命令的阻塞，但可能会给下一个操作带来阻塞风险。
  1. AOF 日志也是在主线程中执行(写回策略为 always时)，如果在把日志文件写入磁盘时，磁盘写压力大，就会导致写盘很慢，进而导致后续的操作也无法执行了。

这两个风险都是和 AOF 写回磁盘的时机相关的。这也就意味着，如果我们能够控制一个写命令执行完后 AOF 日志写回磁盘的时机，这两个风险就解除了。

2.日志的写回策略

AOF 机制一共有三种写回策略，也就是 AOF 配置项appendfsync的三个可选值。

  • 「Always 同步写回」：每个写命令执行完，立马同步地将日志写回磁盘；

  • 「Everysec每秒写回」：每个写命令执行完，只是先把日志写到 AOF 文件的内存缓冲区，每隔一秒把缓冲区中的内容写入磁盘；

  • 「No操作系统控制的写回」：每个写命令执行完，只是先把日志写到 AOF 文件的内存缓冲区，由操作系统决定何时将缓冲区内容写回磁盘。

    针对避免主线程阻塞和减少数据丢失问题，这三种写回策略都无法做到两全其美。我们就可以根据系统对高性能和高可靠性的要求，来选择使用哪种写回策略了。

  • 想要获得高性能，就选择 No 策略；

  • 想要得到高可靠性保证，就选择 Always 策略；

  • 允许数据有一点丢失，又希望性能别受太大影响的话，那么就选择 Everysec 策略。

3.日志的重写

重写的作用AOF 是以文件的形式在记录接收到的所有写命令。「随着接收的写命令越来越多，AOF 文件会越来越大」。这也就意味着，我们一定要小心 AOF 文件过大带来的性能问题，主要在于以下三个方面：

  • 一是，文件系统本身对文件大小有限制，无法保存过大的文件；
  • 二是，如果文件太大，之后再往里面追加命令记录的话，效率也会变低；
  • 三是，如果发生宕机，AOF 中记录的命令要一个个被重新执行，用于故障恢复，如果日志文件太大，整个恢复过程就会非常缓慢，这就会影响到Redis 的正常使用。

AOF 重写机制就是在重写时，Redis 根据数据库的现状创建一个新的 AOF 文件，也就是说，「读取数据库中的所有键值对，然后对每一个键值对用一条命令记录它的写入」。重写机制具有“多变一”功能。所谓的“多变一”，也就是说，旧日志文件中的多条命令，在重写后的新日志中变成了一条命令。重写的过程

AOF 日志由主线程写回不同，重写过程是由「后台子进程 bgrewriteaof 来完成的，这也是为了避免阻塞主线程」，导致数据库性能下降。

我把重写的过程总结为“「一个拷贝，两处日志」”。

“一个拷贝”就是指，每次执行重写时，主线程 fork 出后台的 bgrewriteaof 子进程。此时，fork 会把主线程的内存拷贝一份给 bgrewriteaof 子进程，这里面就包含了数据库的最新数据。然后，bgrewriteaof 子进程就可以在不影响主线程的情况下，逐一把拷贝的数据写成操作，记入重写日志。

第一处日志，指的是因为主线程未阻塞，仍然可以处理新来的操作，Redis 会把这个操作写到它的缓冲区。这样一来，即使宕机了，这个 AOF 日志的操作仍然是齐全的，可以用于恢复。

第二处日志，就是指新的 AOF 重写日志。这个操作也会被写到重写日志的缓冲区。这样，重写日志也不会丢失最新的操作。等到拷贝数据的所有操作记录重写完成后，重写日志记录的这些最新操作也会写入新的 AOF 文件，以保证数据库最新状态的记录。

此时，我们就可以用新的 AOF 文件替代旧文件了。总结来说，每次 AOF 重写时，Redis 会先执行一个内存拷贝，用于重写；然后，使用两个日志保证在重写过程中，新写入的数据不会丢失。而且，「因为 Redis 采用子进程进行日志重写，所以，这个过程并不会阻塞主线程」。

正因为记录的是操作命令，而不是实际的数据，所以，用 AOF 方法进行故障恢复的时候，需要逐一把操作日志都执行一遍。如果操作日志非常多，Redis 就会恢复得很缓慢，影响到正常使用。这当然不是理想的结果。那么，还有没有既可以保证可靠性，还能在宕机时实现快速恢复的其他方法呢？

4.RDB

对 Redis 来说，它实现类似照片记录效果的方式，把某一时刻的状态以文件的形式写到磁盘上，也就是快照（RDB 文件）。这样一来，即使宕机，快照文件也不会丢失，数据的可靠性也就得到了保证。

和 AOF 相比，RDB 记录的是某一时刻的数据，并不是操作，所以，在做数据恢复时，我们可以直接把 RDB 文件读入内存，很快地完成恢复。

5.快照的原理

Redis 提供了两个命令来生成 RDB 文件，分别是 save 和 bgsave。

  • 「save」：在主线程中执行，会导致阻塞；
  • 「bgsave」：创建一个子进程，专门用于写入 RDB 文件，避免了主线程的阻塞，这也是 Redis RDB 文件生成的默认配置。

我们可以通过 bgsave 命令来执行全量快照，这既提供了数据的可靠性保证，也避免了对 Redis 的性能影响。

在执行快照的同时，Redis 就会借助操作系统提供的写时复制技术（Copy-On-Write, COW），正常处理写操作。bgsave 子进程是由主线程 fork 生成的，可以共享主线程的所有内存数据。bgsave 子进程运行后，开始读取主线程的内存数据，并把它们写入 RDB 文件。

如果主线程对这些数据也都是读操作（例如图中的键值对 A），那么，主线程和 bgsave 子进程相互不影响。但是，如果主线程要修改一块数据（例如图中的键值对 C），那么，这块数据就会被复制一份，生成该数据的副本（键值对 C’）。然后，主线程在这个数据副本上进行修改。同时，bgsave 子进程可以继续把原来的数据（键值对 C）写入 RDB 文件。这样既保证了快照的完整性，也允许主线程同时对数据进行修改，避免了对正常业务的影响。来源：

6.混合 AOF/RDB

虽然 bgsave 执行时不阻塞主线程，但是，如果频繁地执行全量快照，也会带来两方面的开销。

一方面，频繁将全量数据写入磁盘，会给磁盘带来很大压力，多个快照竞争有限的磁盘带宽，前一个快照还没有做完，后一个又开始做了，容易造成恶性循环（所以，在 Redis 中如果有一个 bgsave 在运行，就不会再启动第二个 bgsave 子进程）。

另一方面，bgsave 子进程需要通过 fork 操作从主线程创建出来。虽然，子进程在创建后不会再阻塞主线程，但是，「fork 这个创建过程本身会阻塞主线程」，而且主线程的内存越大，阻塞时间越长。

Redis 4.0 中提出了一个混合使用 AOF 日志和内存快照的方法。简单来说，「内存快照以一定的频率执行，在两次快照之间，使用 AOF 日志记录这期间的所有命令操作」。这样一来，快照不用很频繁地执行，这就避免了频繁 fork 对主线程的影响。而且，AOF 日志也只用记录两次快照间的操作，也就是说，不需要记录所有操作了，因此，就不会出现文件过大的情况了，也可以避免重写开销。

总结

最后，关于 AOF 和 RDB 的选择问题，我想再给你提三点建议：

  • 数据不能丢失时，内存快照和 AOF 的混合使用是一个很好的选择；
  • 如果允许分钟级别的数据丢失，可以只使用 RDB；
  • 如果只用AOF，优先使用 everysec 的配置选项，因为它在可靠性和性能之间取了一个平衡。

小卷聊开发，一个专注于技术、面试，偶尔发点生活的公众号，关注我，一起变强！！！

关键词： 操作系统 执行命令 数据丢失