Redis 的驱逐策略的 3 个环节需要一套共同的语义,否则每次改动都会引入新的分歧。本文给出 Redis 的驱逐策略的统一语义方式。
一、问题定位
Redis 的驱逐策略的变更没有小流量验证:LRU 直接全量,LFU 的问题被瞬间放大,Redis 的驱逐策略的故障影响全体用户。
1.1 为什么现在更值得讨论
数据库进入深水区后,Redis 的驱逐策略从「可有可无」变成了「不做不行」:
- 上下文可传递(Redis 的驱逐策略·LRU):追踪标识跨进程、跨线程、跨服务一致透传
- 跨语言一致(Redis 的驱逐策略·LRU):不同语言的同一条链路能拼成同一条时间线
- 采样决策前置(Redis 的驱逐策略·LRU):是否采样在入口处决定,全链保持一致
二、按要点拆解:Redis 的驱逐策略
2.1 LRU
LRU 的接口要定义清楚「部分成功」的语义,语义含糊其辞,调用方就会重复提交,否则容量再充足也会被单点瓶颈拖垮。
- 容量压测:LRU 的压测要覆盖依赖饱和与突发形态
- 基线对比:LRU 的指标要能对比基线,单看当前值没有意义
- 容量弹性:LRU 的容量要有弹性,能扩也要能缩,缩容同样需要保护。
2.2 LFU
LFU 的依赖版本要锁定,依赖浮动版本时,构建结果不可复现,问题也无法定位,这也是设计评审中最值得花时间争论的地方。
- 全量确认:LFU 的全量前要确认灰度结论,跳过确认会把风险放大
- 监控覆盖:LFU 的监控要覆盖关键路径的每一步,断点就是盲区
- 依赖地图:LFU 的依赖关系要画成地图,隐式依赖在故障时才暴露
2.3 键过期
键过期的日志要能按请求聚合,日志分散在多处时,还原现场非常耗时,否则故障恢复的时间会被无限拉长。
- 读写容量:键过期要按读写容量分别规划,读写比例变化会让原方案失效
- 读放大:键过期要控制读放大,一次请求读多份数据会放大存储压力
- 写放大:键过期要控制写放大,索引与副本会让实际写入远超业务量
LRU、LFU、键过期的交接编码格式要稳定,字段增减要兼容未知字段的跳过。
LRU → LFU → 键过期
LRU 的重试会放大 LFU 的压力,链路要防叠加。
三、最小可运行实现
数据库的一次故障里,LRU 与 LFU 的指标都在阈值内,用户侧却大量超时。排查发现是两者共用的一个连接池被 LRU 的长事务占住。
我们把 LRU 的全量快照改成流式读取,LFU 不再需要一次性载入内存。Redis 的驱逐策略的内存峰值下降明显。
先看数据库场景的整体结构,再把 LRU、LFU、键过期的调用顺序落到代码上:
# Redis 的持久化:过期键淘汰、内存碎片整理与 Big Key 治理
import random
import time
def now():
return time.time()
def expire_candidates(keys, sample=20):
"""惰性 + 定期:随机抽样过期键,优先删除已过期的。"""
now_ts = now()
expired = [k for k in keys if k["expire_at"] is not None and now_ts >= k["expire_at"]]
pool = random.sample(keys, min(sample, len(keys)))
return expired + [k for k in pool if k["expire_at"] is not None and now_ts >= k["expire_at"]]
def frag_ratio(used, allocated):
"""碎片率超过 1.5 且内存富余时才触发 activedefrag,避免无谓 CPU 消耗。"""
if allocated == 0:
return 0.0
return used / allocated
def big_keys(stats, threshold=10000):
"""Big Key 会阻塞单线程:按元素数量筛出,建议拆分成小结构。"""
return [s for s in stats if s["elements"] >= threshold]
四、验证与调优
Redis 的驱逐策略优化前后的重试次数与成功率对照:
| 环节 | 单次耗时 | 占关键路径 | 优化手段 |
|---|---|---|---|
| LRU | 0.5ms | 38% | 把兼容旧数据的逻辑集中起来 |
| LFU | 0.8ms | 27% | 把演练的场景做成可重复的 |
| 键过期 | 1.1ms | 20% | 用工作窃取队列摊平协程负载 |
整体指标:P99 从 172ms 降到 99ms(-42%),吞吐从 2 万 QPS 提升到 4 万 QPS(+100%),CPU 占用从 88% 降到 59%。
4.1 灰度策略
- 阶段一(Redis 的驱逐策略·LRU):先在低频任务上验证调度逻辑
- 阶段二(Redis 的驱逐策略·LRU):扩展到中频任务,观察资源占用
- 阶段三(Redis 的驱逐策略·LRU):覆盖高频任务,重点看排队
- 阶段四(Redis 的驱逐策略·LRU):全量调度,任务优先级可配置
4.2 观测面
Redis 的驱逐策略的观测要能支撑「从发现到定位」的完整路径,而不只是发现。
- 配置漂移(Redis 的驱逐策略·LRU):多实例配置漂移被定期校验,差异有告警
- 下发延迟(Redis 的驱逐策略·LRU):配置下发的耗时与成功率被监控,生效可预期
- 配置恢复(Redis 的驱逐策略·LRU):配置回滚路径经过验证,不靠记忆恢复
五、结论
把 LRU、LFU、键过期的边界做成可测试的约束,Redis 的驱逐策略的演进才有据可依。
- 先做验证再谈优化(Redis 的驱逐策略·LRU):没验证过的优化,可能只是把问题挪了位置
- 把假设写成测试(Redis 的驱逐策略·LRU):假设不落地成测试,就永远只是假设
- 让改动可归因(Redis 的驱逐策略·LRU):改动无法归因,出了问题就找不到源头

发表评论 取消回复