Redis 的“快”建立在把所有数据放进内存这一前提上,而内存既是它的性能来源,也是它在成本、容量与持久性上所有麻烦的根源。

一、问题定位

生产环境里 Redis 的问题往往不是“慢”,而是“不稳”。典型失败模式有三类。第一类是内存膨胀:一个大 key(几百万成员的 Hash 或 List)撑爆实例,触发 maxmemory 后写入报 OOM command not allowed,或者触发淘汰把业务正在用的热点数据丢掉。第二类是持久化导致的延迟抖动:一次 BGSAVE 的 fork 在主线程上耗时几十毫秒,AOF 重写期间写入被阻塞,主从全量同步把带宽打满,表现为周期性的 P99 尖刺。第三类是淘汰策略误用:在 volatile-lru 下大量带过期时间的 key 被提前淘汰,缓存命中率骤降,请求穿透到数据库。

这些问题的共同根源,是只把 Redis 当成“一个很快的 KV”,而没有把它当成一个有内存编码、有垃圾回收式删除、有持久化状态机的系统。INFO memory 里的 used_memory 与 used_memory_rss 差值、mem_fragmentation_ratio、mem_allocator 这些指标,往往比 QPS 更早暴露风险。

理解 Redis 的内存模型,需要同时看三层:对象编码层(一个 key 内部用什么结构存储)、过期与删除层(key 何时被真正释放)、持久化层(内存状态如何落到磁盘)。三层互相影响:编码方式决定内存占用,过期策略决定内存何时回收,持久化策略决定崩溃后能恢复多少。

1.1 为什么现在更值得讨论

  • 实例规模持续变大:从 2GB 缓存到 100GB 级别的“类数据库”用法,大 key、碎片与 fork 代价都按内存量级放大。
  • 云原生按内存计费:内存是最贵的资源,maxmemory-policy 与编码选择直接决定账单,10% 的内存优化就是 10% 成本下降。
  • 单线程模型对延迟极敏感:所有耗时操作都阻塞主线程,AOF fsync、过期删除、大 key 序列化都会直接反映到 P99。

二、按要点拆解:Redis 内存与持久化

2.1 内存编码:embstr/raw/ziplist/listpack/hashtable

Redis 的每个值都是一个 redisObject,包含类型、编码与指针。字符串在 44 字节以内用 embstr(一次分配连续内存,对象与 SDS 同块),超过则用 raw(对象与 SDS 分离分配);纯整数用 int。小集合用压缩结构:List 在元素少且短时用 quicklist(节点为 listpack),Hash/ZSet/Set 在小数据量时用 listpack(Redis 7 之前是 ziplist)或 intset,超过 hash-max-listpack-entries/hash-max-listpack-value 等阈值后转 hashtable;ZSet 用 listpack 或 skiplist + hashtable 组合。

  • 编码决定内存占用:同样是 100 万元素的 Hash,hashtable 编码可能比 listpack 编码多花数倍内存;合理设置 *-max-listpack-entries 阈值是内存优化的第一杠杆。
  • 编码转换是单向的:一旦从 listpack 转成 hashtable,即使删元素回到阈值以下也不会自动转回,内存不会立刻回落。
  • 用命令观测编码:OBJECT ENCODING key、MEMORY USAGE key、DEBUG OBJECT key 可以确认实际编码与字节数,排查大 key 时应先分类统计。

2.2 过期与淘汰策略

过期 key 的删除是两段式的:写入 EXPIRE 时只在字典里记录过期时间,读取时惰性检查(expireIfNeeded)并删除;同时后台按 hz(默认每秒 10 次)随机抽样一部分过期字典,删除其中的过期 key。因此过期 key 不一定会被立刻回收,INFO 里的 expired_keys 反映累计过期数。当内存达到 maxmemory 时触发 8 种 maxmemory-policy:noeviction(默认,写报错)、allkeys-lru、allkeys-lfu、allkeys-random、volatile-lru、volatile-lfu、volatile-random、volatile-ttl。

  • LRU 是近似的:Redis 用采样(默认 maxmemory-samples 5)估算最久未使用,而非精确 LRU,避免维护全局链表的开销。
  • LFU 用概率计数:LFU 用 Morris 计数器(对数概率递增)加衰减因子,lfu-decay-time 控制热度衰减,适合长期热点稳定的场景。
  • 策略选择要看 key 是否带 TTL:volatile-* 只在带过期时间的 key 中淘汰,若没有带 TTL 的 key 会退化为不淘汰并报错;缓存场景通常选 allkeys-lru,会话类场景选 volatile-lru。

2.3 RDB 与 AOF 的取舍与混合持久化

RDB 是某一时刻的全量二进制快照,由 BGSAVE fork 子进程利用写时复制(COW)生成,文件小、恢复快,但两次快照之间的写入会丢失。AOF 追加每条写命令,appendfsync 可选 always(每条都 fsync,最安全最慢)、everysec(每秒 fsync,最多丢 1 秒,默认)、no(交给 OS,性能最好但不可控);AOF 重写(BGREWRITEAOF)会 fork 子进程把当前内存状态转成最小命令集,重写期间的新写入进入 AOF 缓冲与重写缓冲,最后追加到新文件。Redis 4.0 起支持混合持久化(aof-use-rdb-preamble yes):AOF 文件前半段是 RDB 格式的全量数据,后半段是增量的 AOF 命令,兼顾恢复速度与数据新鲜度。

  • RDB 的代价在 fork 与 COW:fork 本身在主线程执行,内存越大越慢;COW 意味着快照期间所有写操作都可能触发页复制,内存膨胀可能接近翻倍。
  • AOF 的代价在 fsync 与重写:everysec 是安全与性能的平衡点;always 会把吞吐打到磁盘 IOPS 上限。
  • 丢失窗口要提前算清:纯 RDB 丢几分钟到几十分钟,AOF everysec 丢最多 1 秒,混合持久化接近 AOF 的丢失量但恢复更快。

三、最小可运行实现

思路是先用 INFO 与 OBJECT ENCODING 观测内存与编码,再配置混合持久化与淘汰策略,最后用脚本验证过期与内存占用。下面给出一组可复制的配置与观测命令。

# 1) 观测内存与碎片
redis-cli INFO memory | grep -E 'used_memory_human|used_memory_rss_human|mem_fragmentation_ratio'
redis-cli INFO stats | grep expired_keys

# 2) 观测某个 key 的编码与内存占用
redis-cli OBJECT ENCODING user:1001:profile
redis-cli MEMORY USAGE user:1001:profile

# 3) 扫描大 key(生产建议用 --memkeys,避免 KEYS 阻塞)
redis-cli --bigkeys
redis-cli --memkeys

# 4) 配置混合持久化与淘汰策略(redis.conf)
cat >> redis.conf <<'EOF'
maxmemory 8gb
maxmemory-policy allkeys-lru
maxmemory-samples 10
appendonly yes
appendfsync everysec
aof-use-rdb-preamble yes
auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 64mb
EOF

# 5) 验证过期删除与内存释放
redis-cli SET temp:job:1 payload EX 2
sleep 3
redis-cli EXISTS temp:job:1        # 预期 0
redis-cli INFO memory | grep used_memory_human

四、常见坑与排查

  • 大 key 阻塞主线程:KEYS *、HGETALL 大 Hash、SMEMBERS 大 Set 都会阻塞;排查用 redis-cli --bigkeys/--memkeys 定位,拆分或改用 HSCAN/SSCAN 渐进遍历。
  • 内存碎片率虚高:mem_fragmentation_ratio 大于 1.5 且 used_memory_rss 远大于 used_memory,先看是否发生过大 key 删除或 fork;可开启 activedefrag yes 或重启实例回收。
  • fork 卡顿:BGSAVE/AOF 重写时 INFO persistence 的 latest_fork_usec 过大;避免在内存峰值做全量备份,或改用副本节点做备份。
  • 淘汰导致缓存穿透:maxmemory-policy 用了 volatile-* 但 key 没设 TTL,或 allkeys-* 把热点淘汰;看 INFO stats 的 evicted_keys,并核对 TTL 覆盖率。
  • AOF 文件膨胀:重写阈值设置过大或关闭了自动重写,导致 AOF 体积远超内存;用 BGREWRITEAOF 手动触发,并监控 aof_current_size。
  • 主从全量同步打满带宽:大实例首次同步触发 BGSAVE 并传输 RDB;用 repl-backlog-size 调大复制积压缓冲,或先做种子节点再挂载。

五、结语

把 Redis 当内存数据库而不是缓存来运维:上线前算清 maxmemory 与淘汰策略,用 OBJECT ENCODING 与 --bigkeys 定期巡检大 key,持久化默认选混合模式并把 appendfsync 设为 everysec,备份与重写放到副本上做,避免主线程 fork 抖动。容量规划时给内存留 30% 以上的余量给 COW 与碎片,比事后补救便宜得多。记住一个判断顺序:先看编码与碎片,再看过期与淘汰,最后看持久化窗口——三层都稳了,Redis 才既快又稳。

点赞(0) 打赏

评论列表 共有 0 条评论

暂无评论
立即
投稿

微信公众账号

微信扫一扫加关注

发表
评论
返回
顶部