Redis 的驱逐策略的 3 个环节需要一套共同的语义,否则每次改动都会引入新的分歧。本文给出 Redis 的驱逐策略的统一语义方式。

一、问题定位

Redis 的驱逐策略的变更没有小流量验证:LRU 直接全量,LFU 的问题被瞬间放大,Redis 的驱逐策略的故障影响全体用户。

1.1 为什么现在更值得讨论

数据库进入深水区后,Redis 的驱逐策略从「可有可无」变成了「不做不行」:

  • 上下文可传递(Redis 的驱逐策略·LRU):追踪标识跨进程、跨线程、跨服务一致透传
  • 跨语言一致(Redis 的驱逐策略·LRU):不同语言的同一条链路能拼成同一条时间线
  • 采样决策前置(Redis 的驱逐策略·LRU):是否采样在入口处决定,全链保持一致

二、按要点拆解:Redis 的驱逐策略

2.1 LRU

LRU 的接口要定义清楚「部分成功」的语义,语义含糊其辞,调用方就会重复提交,否则容量再充足也会被单点瓶颈拖垮。

  • 容量压测:LRU 的压测要覆盖依赖饱和与突发形态
  • 基线对比:LRU 的指标要能对比基线,单看当前值没有意义
  • 容量弹性:LRU 的容量要有弹性,能扩也要能缩,缩容同样需要保护。

2.2 LFU

LFU 的依赖版本要锁定,依赖浮动版本时,构建结果不可复现,问题也无法定位,这也是设计评审中最值得花时间争论的地方。

  • 全量确认:LFU 的全量前要确认灰度结论,跳过确认会把风险放大
  • 监控覆盖:LFU 的监控要覆盖关键路径的每一步,断点就是盲区
  • 依赖地图:LFU 的依赖关系要画成地图,隐式依赖在故障时才暴露

2.3 键过期

键过期的日志要能按请求聚合,日志分散在多处时,还原现场非常耗时,否则故障恢复的时间会被无限拉长。

  • 读写容量:键过期要按读写容量分别规划,读写比例变化会让原方案失效
  • 读放大:键过期要控制读放大,一次请求读多份数据会放大存储压力
  • 写放大:键过期要控制写放大,索引与副本会让实际写入远超业务量

LRU、LFU、键过期的交接编码格式要稳定,字段增减要兼容未知字段的跳过。

LRU → LFU → 键过期

LRU 的重试会放大 LFU 的压力,链路要防叠加。

三、最小可运行实现

数据库的一次故障里,LRU 与 LFU 的指标都在阈值内,用户侧却大量超时。排查发现是两者共用的一个连接池被 LRU 的长事务占住。

我们把 LRU 的全量快照改成流式读取,LFU 不再需要一次性载入内存。Redis 的驱逐策略的内存峰值下降明显。

先看数据库场景的整体结构,再把 LRU、LFU、键过期的调用顺序落到代码上:

# Redis 的持久化:过期键淘汰、内存碎片整理与 Big Key 治理
import random
import time

def now():
    return time.time()

def expire_candidates(keys, sample=20):
    """惰性 + 定期:随机抽样过期键,优先删除已过期的。"""
    now_ts = now()
    expired = [k for k in keys if k["expire_at"] is not None and now_ts >= k["expire_at"]]
    pool = random.sample(keys, min(sample, len(keys)))
    return expired + [k for k in pool if k["expire_at"] is not None and now_ts >= k["expire_at"]]

def frag_ratio(used, allocated):
    """碎片率超过 1.5 且内存富余时才触发 activedefrag,避免无谓 CPU 消耗。"""
    if allocated == 0:
        return 0.0
    return used / allocated

def big_keys(stats, threshold=10000):
    """Big Key 会阻塞单线程:按元素数量筛出,建议拆分成小结构。"""
    return [s for s in stats if s["elements"] >= threshold]

四、验证与调优

Redis 的驱逐策略优化前后的重试次数与成功率对照:

环节单次耗时占关键路径优化手段
LRU0.5ms38%把兼容旧数据的逻辑集中起来
LFU0.8ms27%把演练的场景做成可重复的
键过期1.1ms20%用工作窃取队列摊平协程负载

整体指标:P99 从 172ms 降到 99ms(-42%),吞吐从 2 万 QPS 提升到 4 万 QPS(+100%),CPU 占用从 88% 降到 59%。

4.1 灰度策略

  • 阶段一(Redis 的驱逐策略·LRU):先在低频任务上验证调度逻辑
  • 阶段二(Redis 的驱逐策略·LRU):扩展到中频任务,观察资源占用
  • 阶段三(Redis 的驱逐策略·LRU):覆盖高频任务,重点看排队
  • 阶段四(Redis 的驱逐策略·LRU):全量调度,任务优先级可配置

4.2 观测面

Redis 的驱逐策略的观测要能支撑「从发现到定位」的完整路径,而不只是发现。

  • 配置漂移(Redis 的驱逐策略·LRU):多实例配置漂移被定期校验,差异有告警
  • 下发延迟(Redis 的驱逐策略·LRU):配置下发的耗时与成功率被监控,生效可预期
  • 配置恢复(Redis 的驱逐策略·LRU):配置回滚路径经过验证,不靠记忆恢复

五、结论

把 LRU、LFU、键过期的边界做成可测试的约束,Redis 的驱逐策略的演进才有据可依。

  • 先做验证再谈优化(Redis 的驱逐策略·LRU):没验证过的优化,可能只是把问题挪了位置
  • 把假设写成测试(Redis 的驱逐策略·LRU):假设不落地成测试,就永远只是假设
  • 让改动可归因(Redis 的驱逐策略·LRU):改动无法归因,出了问题就找不到源头

点赞(0) 打赏

评论列表 共有 0 条评论

暂无评论
立即
投稿

微信公众账号

微信扫一扫加关注

发表
评论
返回
顶部