RocksDB 的 WAL 与 Compaction 在数据库里往往被当成配置项写进文档,真正出问题的时候才发现它是一套状态机。这篇按 3 个要点拆开讲:写放大权衡、RocksDB 的 WAL、Compaction,每个要点都给出可落地的判断标准和最小实现。
一、问题定位
RocksDB 的 WAL 与 Compaction 的设计里,写放大权衡负责快速决策,RocksDB 的 WAL 负责最终一致,两者之间必须有一个明确的交接点。RocksDB 的 WAL 与 Compaction 的交接点没定义,故障就会在写放大权衡与 RocksDB 的 WAL 之间来回弹。
1.1 为什么现在更值得讨论
如果只看 RocksDB 的 WAL 与 Compaction 的技术指标,很容易忽略背后几个结构性变化:
- 规模上移(数据库):单集群/单实例的边界被不断推高,原本靠人工兜底的环节必须自动化
- 成本约束(数据库):资源单价不再是「能买就买」,冗余设计要能算出投入产出
- 可观测性前置(数据库):从「出事再查」转向「指标先于故障」
二、按要点拆解:RocksDB 的 WAL 与 Compaction
2.1 写放大权衡
写放大权衡的重试策略要和它的幂等性配套。写放大权衡支持重试的前提是重复执行不会放大副作用,否则重试就是把小问题放大。
- 依赖降级:写放大权衡依赖的下游不可用时,要有可自动切换的备选路径
- 状态可见:写放大权衡的当前状态要能被外部查询,而不是只能靠日志反推
- 限流保护:写放大权衡要能拒绝超过处理能力的请求,而不是让队列无限堆积
2.2 RocksDB 的 WAL
RocksDB 的 WAL 最贵的部分往往是失败处理:超时、退避、熔断、补偿,四件套缺一件,RocksDB 的 WAL 在故障时的行为就不可预测。RocksDB 的 WAL 的这部分代码量不大,但必须被显式测试。
- 限流保护:RocksDB 的 WAL 要能拒绝超过处理能力的请求,而不是让队列无限堆积
- 版本标识:RocksDB 的 WAL 的每次变更都要带版本,便于灰度期间对比效果
- 文档同步:RocksDB 的 WAL 的边界条件与默认值要写进仓库,而不是留在人脑里
2.3 Compaction
Compaction 的观测数据要能回答「现在离边界还有多远」。只报当前值的 Compaction 仪表盘,在数据库里几乎没有决策价值。
- 幂等:Compaction 被重复触发时结果一致,且不产生额外副作用
- 资源:Compaction 单次操作的内存与连接占用要能算出来,避免压力下雪崩
- 版本标识:Compaction 的每次变更都要带版本,便于灰度期间对比效果
这条 3 段链里,写放大权衡、RocksDB 的 WAL、Compaction 的每一环都在给下一环制造输入:
写放大权衡 → RocksDB 的 WAL → Compaction
写放大权衡的方差会顺着链路放大到 RocksDB 的 WAL,所以先把写放大权衡的波动压住,收益最稳定。
三、最小可运行实现
我们排查过一个数据库问题:写放大权衡的所有指标都正常,但 RocksDB 的 WAL 的 P99 周期性飙升。根因是 RocksDB 的 WAL 依赖的外部服务在固定时间窗口做批处理。
最终方案是把写放大权衡与 RocksDB 的 WAL 的交互从同步改成异步确认,并保留一个同步兜底路径。正常路径走异步,写放大权衡异常时退回同步,避免全量改造。
下面用一段示例代码把写放大权衡、RocksDB 的 WAL、Compaction 的协作关系表达出来,细节从略:
// WAL:分段滚动、组提交与崩溃截断恢复
package wal
import "hash/crc32"
// Record 顺序追加,校验和用于检测半写
type Record struct {
Seq int64
Data []byte
}
func (r Record) Valid() bool {
return crc32.ChecksumIEEE(r.Data) != 0
}
// GroupCommit 把多个写请求合并成一次 fsync,摊薄落盘开销
type GroupCommit struct {
pending []Record
}
func (g *GroupCommit) Add(r Record) {
g.pending = append(g.pending, r)
}
func (g *GroupCommit) Size() int { return len(g.pending) }
// Truncate 崩溃恢复时截断到最后一个完整记录
func Truncate(records []Record, complete int) []Record {
return records[:complete]
}
四、验证与调优
RocksDB 的 WAL 与 Compaction 的压测与线上灰度数据对照(取改动的后一个完整周期):
| 环节 | 单次耗时 | 占关键路径 | 优化手段 |
|---|---|---|---|
| 写放大权衡 | 1.5ms | 38% | 降低锁竞争 |
| RocksDB 的 WAL | 2.4ms | 27% | 把阻塞调用移到后台线程执行 |
| Compaction | 3.3ms | 20% | 把重复的字符串比较改为整数枚举 |
整体指标:P99 从 312ms 降到 196ms(-37%),吞吐从 2 万 QPS 提升到 4 万 QPS(+100%),CPU 占用从 78% 降到 57%。
4.1 灰度策略
- 阶段一(数据库):先在冷数据上验证,确认扫描逻辑
- 阶段二(数据库):覆盖温数据,观察命中率变化
- 阶段三(数据库):切入热数据,重点看延迟与锁竞争
- 阶段四(数据库):全量后保留按数据温度分层的能力
4.2 观测面
RocksDB 的 WAL 与 Compaction 的观测面要跟着故障模式走:每复盘一次 RocksDB 的 WAL 与 Compaction 相关事故,就补一个对应的问题:
- 指标(数据库):成功率、P99、积压量、重试次数,四个指标能覆盖大部分故障定位
- 日志(数据库):结构化输出并带请求 ID,保证一次请求的全链路可串起来
- 链路(数据库):只采关键路径,采样率随错误率动态提高
五、结论
把写放大权衡、RocksDB 的 WAL、Compaction 的失败模式列成清单,RocksDB 的 WAL 与 Compaction 的可靠性就从「设计」变成了「工程」。
- 重复三次就自动化(数据库):手工流程迟早出错
- 人工只处理例外(数据库):常规路径无人干预
- 失败要能自愈(数据库):常见故障有自动恢复

发表评论 取消回复