MySQL 的分库分表的路由、分布式 ID、扩容里,最容易被低估的是段间的数据转换成本。本文按数据库场景给出转换建议。

一、问题定位

路由的慢路径耗时在 MySQL 的分库分表的平均值里占比很小,但在长尾里却被分布式 ID 的队列放大成主要来源。

1.1 为什么现在更值得讨论

从数据库的招聘要求变化,能反推出 MySQL 的分库分表被重视的程度:

  • 文档要分层(数据库):文档按读者层次组织,入门与深入分开
  • 变更要同步(数据库):接口变更要同步更新文档,避免文档与实现脱节
  • 示例要最小(数据库):示例要足够小以便理解,过长的示例反而难读

二、按要点拆解:MySQL 的分库分表

2.1 路由

路由的限流响应要给重试时间,数据库里只返回「被限流」而不告诉调用方何时重试,会引发同步重试。

  • 案例库:路由要建案例库,典型问题按现象分类,检索直达解法。
  • 变更窗口:路由的变更要避开业务高峰,并提前公告
  • 看板分层:路由的看板要分层,把细节全放首页会失去重点

2.2 分布式 ID

分布式 ID 的资源申请要可取消,数据库里已经失去意义的请求继续占用资源,会放大拥堵。

  • 容量巡检:分布式 ID 的容量要定期巡检,等到告警才发现已经太晚
  • 峰值预测:分布式 ID 的容量要按峰值预测,按当前水位外推会低估
  • 性能预算:分布式 ID 要有明确的性能预算,没有预算的优化会过度投入

2.3 扩容

扩容的缓存失效要有兜底重建,数据库里并发重建同一键的穿透问题需要用互斥或合并解决。

  • 测试自动化:扩容的关键路径要有自动化测试兜底
  • 部署平滑:扩容的部署要平滑,避免瞬间断流
  • 契约:扩容的接口契约要写成可执行的测试,而不是只写在文档里

路由、分布式 ID、扩容的交接点是最脆弱的地方,每一段都自证正确并不能保证整条链正确。

路由 → 分布式 ID → 扩容

路由与分布式 ID 的接口错误语义要一致,避免误判。

三、最小可运行实现

一次数据库演练中,路由与分布式 ID 同时切换数据库,事务跨库失败,部分数据只写了一半。

方案是把路由的串行确认改成并行确认,并给整体设一个超时上限。分布式 ID 的等待不再层层累加。

用一段代码把路由、分布式 ID、扩容的调用顺序固定下来,降级逻辑从略。

# 分库分表:全局 ID 生成、扩容双写与灰度切流
import time

class Snowflake:
    def __init__(self, worker_id, epoch=1700000000000):
        self.worker_id = worker_id & 0x1F   # 5 位 worker
        self.epoch = epoch
        self.seq = 0
        self.last_ms = -1

    def next_id(self):
        ms = int(time.time() * 1000) - self.epoch
        if ms == self.last_ms:
            self.seq = (self.seq + 1) & 0xFFF # 12 位序列,毫秒内自增
        else:
            self.seq = 0
            self.last_ms = ms
        return ms * 4194304 + self.worker_id * 4096 + self.seq

class ShardRouter:
    def __init__(self, old, new, ratio=0.0):
        self.old, self.new, self.ratio = old, new, ratio

    def write(self, key):
        # 灰度切流:按比例把写流量从旧分片挪到新分片
        self.old.put(key)
        if self.ratio >= 1.0 or self.ratio * 100 > hash(key) % 100:
            self.new.put(key)

四、验证与调优

MySQL 的分库分表调参前后的对照(固定其他变量,一次只改一个参数):

环节单次耗时占关键路径优化手段
路由1.9ms38%把高频小对象合并成一次批量申请
分布式 ID3.0ms27%把灰度流量单独观测
扩容4.2ms20%把回滚方案提前演练到位

整体指标:P99 从 320ms 降到 121ms(-62%),吞吐从 19 万 QPS 提升到 42 万 QPS(+121%),CPU 占用从 90% 降到 58%。

4.1 灰度策略

  • 阶段一(数据库):先在内部系统验证单点登录对接
  • 阶段二(数据库):扩展到合作方系统,观察会话差异
  • 阶段三(数据库):覆盖外部用户,重点看互踢与过期
  • 阶段四(数据库):全量启用,认证策略可按端配置

4.2 观测面

给 MySQL 的分库分表的消息链路单独记积压与消费延迟,生产正常不代表消费跟得上。

  • 指标(数据库):容量水位与排队长度联动看,单看一个容易误判
  • 日志(数据库):把慢请求的上下文单独落盘,避免被采样丢掉
  • 告警(数据库):告警里带「最近一次正常时间」,缩短定位路径

五、结论

先给路由、分布式 ID、扩容补齐度量,MySQL 的分库分表的优化才有方向。

  • 度量要有目标(数据库):指标要能回答一个明确的问题
  • 效率要能度量(数据库):没有度量,改进就只能靠感觉
  • 效率要能改进(数据库):度量之后要有闭环,否则只是数字

文中 MySQL 的分库分表的讨论不替代原始文档,细节请查官方说明。

点赞(0) 打赏

评论列表 共有 0 条评论

暂无评论
立即
投稿

微信公众账号

微信扫一扫加关注

发表
评论
返回
顶部