把分库分表的在线扩容拆开看,它至少包含双写、迁移、回滚这 3 个环节,任何一个掉链子都会放大到全局。
一、问题定位
很多分库分表的在线扩容的问题在测试环境看不出来:双写的调用间隔一拉长,迁移的本地缓存就命中率骤降,长尾被整体抬起来。
1.1 为什么现在更值得讨论
几年下来,数据库团队对分库分表的在线扩容的共识从「堆功能」转向了「控边界」:
- 成本透明化(数据库):资源开销被逐项核算,隐性浪费无处藏身
- 稳定性被量化(数据库):可用性目标写进合同,口头承诺不再作数
- 工具链成熟(数据库):观测、灰度、回滚的基础设施已经开箱可用
二、按要点拆解:分库分表的在线扩容
2.1 双写
双写的数据要有生命周期。数据库里双写产生的中间数据如果不清理,最终会拖垮存储。
- 隔离:双写的异常不能影响同实例上的其他租户或请求
- 灰度颗粒度:双写的变更按流量比例还是按租户/节点放量,决定了回滚速度
- 变更可逆:双写的配置与代码要能在 30 秒内回到上一版
2.2 迁移
迁移在数据库里的正确性需要可观测性兜底:迁移在数据库的关键状态必须能被打点,关键决策必须带上下文。靠翻日志猜迁移状态的系统,在数据库里故障恢复时间一定是分钟级。
- 被测过的最坏路径:迁移的超时、抖动、部分失败都要有对应用例
- 灰度颗粒度:迁移的变更按流量比例还是按租户/节点放量,决定了回滚速度
- 观测:迁移至少有成功率、P99、积压量三个指标能被独立查询
2.3 回滚
回滚的失败模式要提前列出来:超时、重复、乱序、部分成功,每种都要有对应的处理动作,而不是把回滚的失败统一抛给上层。
- 契约:回滚的输入输出、超时与错误码要在接口层固定,调用方不依赖内部实现
- 变更可逆:回滚的配置与代码要能在 30 秒内回到上一版
- 版本标识:回滚的每次变更都要带版本,便于灰度期间对比效果
把双写、迁移、回滚按因果排列,会得到一条能指导排期的链:
双写 → 迁移 → 回滚
迁移的稳定性上限由双写的方差决定。双写一旦抖动,迁移的所有余量都会被吃掉,因此先压双写的波动最划算。
三、最小可运行实现
某数据库项目里,双写的耗时在压测里只有 5ms,线上却经常超过 100ms。差别在于线上链路更长,双写的下游被迁移的批量调用挤占了带宽。
关键改动只有一行:把双写对迁移的调用从「同步等待」改成「带超时的异步确认」,并给等待期间的结果预设一个安全的默认值。
数据库场景里,双写、迁移、回滚的最小实现可以简化成下面这样:
# 分库分表:全局 ID 生成、扩容双写与灰度切流
import time
class Snowflake:
def __init__(self, worker_id, epoch=1700000000000):
self.worker_id = worker_id & 0x1F # 5 位 worker
self.epoch = epoch
self.seq = 0
self.last_ms = -1
def next_id(self):
ms = int(time.time() * 1000) - self.epoch
if ms == self.last_ms:
self.seq = (self.seq + 1) & 0xFFF # 12 位序列,毫秒内自增
else:
self.seq = 0
self.last_ms = ms
return ms * 4194304 + self.worker_id * 4096 + self.seq
class ShardRouter:
def __init__(self, old, new, ratio=0.0):
self.old, self.new, self.ratio = old, new, ratio
def write(self, key):
# 灰度切流:按比例把写流量从旧分片挪到新分片
self.old.put(key)
if self.ratio >= 1.0 or self.ratio * 100 > hash(key) % 100:
self.new.put(key)
四、验证与调优
按「基线 / 改动后 / 理论上限」三档对照分库分表的在线扩容,差距最大的那一行就是下一步:
| 环节 | 单次耗时 | 占关键路径 | 优化手段 |
|---|---|---|---|
| 双写 | 2.0ms | 38% | 把常驻索引改为按需加载 |
| 迁移 | 3.2ms | 27% | 用更紧凑的结构体减少缓存未命中 |
| 回滚 | 4.4ms | 20% | 把递归改成显式栈,控制栈增长 |
整体指标:P99 从 134ms 降到 72ms(-46%),吞吐从 18 万 QPS 提升到 38 万 QPS(+111%),CPU 占用从 77% 降到 46%。
4.1 灰度策略
- 阶段一(数据库):先验证监控埋点与告警链路可用
- 阶段二(数据库):小流量下制造一次异常,确认告警到达
- 阶段三(数据库):放大流量,观察告警阈值是否合理
- 阶段四(数据库):全量后把告警链路纳入发布检查清单
4.2 观测面
把分库分表的在线扩容的观测拆成「实时定位」与「事后复盘」两层,保留策略各不相同:
- 指标(数据库):把「超时率」与「重试率」组合看,判断是容量不足还是依赖故障
- 日志(数据库):错误信息里带上当时的输入摘要,便于复现
- 复盘(数据库):把复盘中发现的观测盲区补进清单,形成闭环
五、结论
先挑双写、迁移、回滚里最弱的一环做一次压力验证,分库分表的在线扩容的整体收益基本就有了底。
- 先量化再优化(数据库):没有基线数字的优化,多数只是把问题挪了个地方
- 收敛优先于吞吐(数据库):系统能在压力下自我收敛,比峰值数字更重要
- 回滚是设计的一部分(数据库):任何改动都要能在一分钟内退回

发表评论 取消回复