把分库分表的在线扩容拆开看,它至少包含双写、迁移、回滚这 3 个环节,任何一个掉链子都会放大到全局。

一、问题定位

很多分库分表的在线扩容的问题在测试环境看不出来:双写的调用间隔一拉长,迁移的本地缓存就命中率骤降,长尾被整体抬起来。

1.1 为什么现在更值得讨论

几年下来,数据库团队对分库分表的在线扩容的共识从「堆功能」转向了「控边界」:

  • 成本透明化(数据库):资源开销被逐项核算,隐性浪费无处藏身
  • 稳定性被量化(数据库):可用性目标写进合同,口头承诺不再作数
  • 工具链成熟(数据库):观测、灰度、回滚的基础设施已经开箱可用

二、按要点拆解:分库分表的在线扩容

2.1 双写

双写的数据要有生命周期。数据库里双写产生的中间数据如果不清理,最终会拖垮存储。

  • 隔离:双写的异常不能影响同实例上的其他租户或请求
  • 灰度颗粒度:双写的变更按流量比例还是按租户/节点放量,决定了回滚速度
  • 变更可逆:双写的配置与代码要能在 30 秒内回到上一版

2.2 迁移

迁移在数据库里的正确性需要可观测性兜底:迁移在数据库的关键状态必须能被打点,关键决策必须带上下文。靠翻日志猜迁移状态的系统,在数据库里故障恢复时间一定是分钟级。

  • 被测过的最坏路径:迁移的超时、抖动、部分失败都要有对应用例
  • 灰度颗粒度:迁移的变更按流量比例还是按租户/节点放量,决定了回滚速度
  • 观测:迁移至少有成功率、P99、积压量三个指标能被独立查询

2.3 回滚

回滚的失败模式要提前列出来:超时、重复、乱序、部分成功,每种都要有对应的处理动作,而不是把回滚的失败统一抛给上层。

  • 契约:回滚的输入输出、超时与错误码要在接口层固定,调用方不依赖内部实现
  • 变更可逆:回滚的配置与代码要能在 30 秒内回到上一版
  • 版本标识:回滚的每次变更都要带版本,便于灰度期间对比效果

把双写、迁移、回滚按因果排列,会得到一条能指导排期的链:

双写 → 迁移 → 回滚

迁移的稳定性上限由双写的方差决定。双写一旦抖动,迁移的所有余量都会被吃掉,因此先压双写的波动最划算。

三、最小可运行实现

某数据库项目里,双写的耗时在压测里只有 5ms,线上却经常超过 100ms。差别在于线上链路更长,双写的下游被迁移的批量调用挤占了带宽。

关键改动只有一行:把双写对迁移的调用从「同步等待」改成「带超时的异步确认」,并给等待期间的结果预设一个安全的默认值。

数据库场景里,双写、迁移、回滚的最小实现可以简化成下面这样:

# 分库分表:全局 ID 生成、扩容双写与灰度切流
import time

class Snowflake:
    def __init__(self, worker_id, epoch=1700000000000):
        self.worker_id = worker_id & 0x1F   # 5 位 worker
        self.epoch = epoch
        self.seq = 0
        self.last_ms = -1

    def next_id(self):
        ms = int(time.time() * 1000) - self.epoch
        if ms == self.last_ms:
            self.seq = (self.seq + 1) & 0xFFF # 12 位序列,毫秒内自增
        else:
            self.seq = 0
            self.last_ms = ms
        return ms * 4194304 + self.worker_id * 4096 + self.seq

class ShardRouter:
    def __init__(self, old, new, ratio=0.0):
        self.old, self.new, self.ratio = old, new, ratio

    def write(self, key):
        # 灰度切流:按比例把写流量从旧分片挪到新分片
        self.old.put(key)
        if self.ratio >= 1.0 or self.ratio * 100 > hash(key) % 100:
            self.new.put(key)

四、验证与调优

按「基线 / 改动后 / 理论上限」三档对照分库分表的在线扩容,差距最大的那一行就是下一步:

环节单次耗时占关键路径优化手段
双写2.0ms38%把常驻索引改为按需加载
迁移3.2ms27%用更紧凑的结构体减少缓存未命中
回滚4.4ms20%把递归改成显式栈,控制栈增长

整体指标:P99 从 134ms 降到 72ms(-46%),吞吐从 18 万 QPS 提升到 38 万 QPS(+111%),CPU 占用从 77% 降到 46%。

4.1 灰度策略

  • 阶段一(数据库):先验证监控埋点与告警链路可用
  • 阶段二(数据库):小流量下制造一次异常,确认告警到达
  • 阶段三(数据库):放大流量,观察告警阈值是否合理
  • 阶段四(数据库):全量后把告警链路纳入发布检查清单

4.2 观测面

把分库分表的在线扩容的观测拆成「实时定位」与「事后复盘」两层,保留策略各不相同:

  • 指标(数据库):把「超时率」与「重试率」组合看,判断是容量不足还是依赖故障
  • 日志(数据库):错误信息里带上当时的输入摘要,便于复现
  • 复盘(数据库):把复盘中发现的观测盲区补进清单,形成闭环

五、结论

先挑双写、迁移、回滚里最弱的一环做一次压力验证,分库分表的在线扩容的整体收益基本就有了底。

  • 先量化再优化(数据库):没有基线数字的优化,多数只是把问题挪了个地方
  • 收敛优先于吞吐(数据库):系统能在压力下自我收敛,比峰值数字更重要
  • 回滚是设计的一部分(数据库):任何改动都要能在一分钟内退回

点赞(0) 打赏

评论列表 共有 0 条评论

暂无评论
立即
投稿

微信公众账号

微信扫一扫加关注

发表
评论
返回
顶部