「如果只记住一句话:分布式缓存的失效策略不是「开个开关」,而是一条需要长期维护的链路(TTL、LRU、缓存击穿、雪崩防护)。本文按这 4 段链路逐段拆解,并给出压测与灰度的验证方法。」
▍一、问题定位
分布式缓存的失效策略的典型故障曲线是这样的:先是一个可忍受的抖动,接着重试把抖动放大,最后 TTL 的补偿逻辑把局部问题扩散成面。真正需要设计的不是「不出错」,而是「出错时影响面可控」。
▪1.1 为什么现在更值得讨论
几个变化让这件事比三年前更紧迫:
• 交付节奏变快:一天多次变更让「人工确认」成为瓶颈
• 拓扑更碎:跨可用区、跨云的部署让本地假设频繁失效
• 责任下沉:平台团队把能力做成自助服务,默认值就必须是安全的
▍二、按要点拆解:分布式缓存的失效策略
▪2.1 TTL
TTL 与相邻环节的契约要写死在接口上,而不是靠约定。契约一旦模糊,上游的每次「顺手改」都会变成下游的隐性故障。
• 幂等:TTL 被重复触发时结果一致,且不产生额外副作用
• 隔离:TTL 的异常不能影响同实例上的其他租户或请求
• 灰度颗粒度:TTL 的变更按流量比例还是按租户/节点放量,决定了回滚速度
▪2.2 LRU
LRU 的关键不在「怎么实现」,而在「边界定在哪」。先把输入来源、量级上限、失败后的补偿路径三件事写下来,实现反而只有几十行。
• 灰度颗粒度:LRU 的变更按流量比例还是按租户/节点放量,决定了回滚速度
• 变更可逆:LRU 的配置与代码要能在 30 秒内回到上一版
• 数据兼容:LRU 改造期间,新旧状态格式必须双向可读
▪2.3 缓存击穿
缓存击穿的优化空间通常不在算法,而在数据搬运和锁粒度上。先把一次关键路径上的内存拷贝、序列化和加锁次数数清楚,再谈优化方向。
• 契约:缓存击穿的输入输出、超时与错误码要在接口层固定,调用方不依赖内部实现
• 资源:缓存击穿单次操作的内存与连接占用要能算出来,避免压力下雪崩
• 回退:给缓存击穿明确「降级到哪一档」,而不是「出错就重试」
▪2.4 雪崩防护
雪崩防护的优化空间通常不在算法,而在数据搬运和锁粒度上。先把一次关键路径上的内存拷贝、序列化和加锁次数数清楚,再谈优化方向。
• 隔离:雪崩防护的异常不能影响同实例上的其他租户或请求
• 灰度颗粒度:雪崩防护的变更按流量比例还是按租户/节点放量,决定了回滚速度
• 变更可逆:雪崩防护的配置与代码要能在 30 秒内回到上一版
它们之间的关系不是并列,而是有先后依赖:
TTL → LRU → 缓存击穿 → 雪崩防护
链路里靠前的环节一旦不可靠,后面 LRU 的所有优化都会被抵消。这也是为什么先把 TTL 的边界做扎实,比堆性能数字更划算。
▍三、最小可运行实现
压测环境里一切正常、上线后长尾翻倍,是服务端架构项目里最常见的落差。这次的原因是 TTL 在最坏路径上的耗时被平均值掩盖了,而 LRU 又把这个耗时按队列长度放大。
分三步处理:先给 TTL 加背压并限制重试预算,再把 LRU 的全局依赖改成局部视图,最后用影子流量验证一致性。三步都上完之后,关键指标才落到可接受区间。
下面是核心逻辑的实现骨架(服务端架构场景):
// 缓存读取:空值兜底、热点合并与过期重建
package cache
import (
"context"
"sync"
"time"
"golang.org/x/sync/singleflight"
)
type entry struct {
val string
expireAt time.Time
}
type Store struct {
mu sync.RWMutex
data map[string]entry
group singleflight.Group
ttl time.Duration
}
// Get 三态返回:命中、空值(已确认不存在)、未命中
// 空值同样写入短 TTL,挡住穿透流量;热点 key 由 singleflight 合并回源
func (s *Store) Get(ctx context.Context, key string) (string, bool, error) {
s.mu.RLock()
e, ok := s.data[key]
s.mu.RUnlock()
if ok && time.Now().Before(e.expireAt) {
return e.val, e.val != "", nil
}
v, err, _ := s.group.Do(key, func() (interface{}, error) {
val, err := loadFromDB(ctx, key)
if err != nil {
return "", err
}
ttl := s.ttl
if val == "" {
ttl = 30 * time.Second // 空值缓存,避免缓存穿透
}
s.mu.Lock()
s.data[key] = entry{val: val, expireAt: time.Now().Add(ttl)}
s.mu.Unlock()
return val, nil
})
if err != nil {
return "", false, err
}
str, _ := v.(string)
return str, str != "", nil
}
发表评论 取消回复