MySQL 的分库分表的路由、分布式 ID、扩容里,最容易被低估的是段间的数据转换成本。本文按数据库场景给出转换建议。
一、问题定位
路由的慢路径耗时在 MySQL 的分库分表的平均值里占比很小,但在长尾里却被分布式 ID 的队列放大成主要来源。
1.1 为什么现在更值得讨论
从数据库的招聘要求变化,能反推出 MySQL 的分库分表被重视的程度:
- 文档要分层(数据库):文档按读者层次组织,入门与深入分开
- 变更要同步(数据库):接口变更要同步更新文档,避免文档与实现脱节
- 示例要最小(数据库):示例要足够小以便理解,过长的示例反而难读
二、按要点拆解:MySQL 的分库分表
2.1 路由
路由的限流响应要给重试时间,数据库里只返回「被限流」而不告诉调用方何时重试,会引发同步重试。
- 案例库:路由要建案例库,典型问题按现象分类,检索直达解法。
- 变更窗口:路由的变更要避开业务高峰,并提前公告
- 看板分层:路由的看板要分层,把细节全放首页会失去重点
2.2 分布式 ID
分布式 ID 的资源申请要可取消,数据库里已经失去意义的请求继续占用资源,会放大拥堵。
- 容量巡检:分布式 ID 的容量要定期巡检,等到告警才发现已经太晚
- 峰值预测:分布式 ID 的容量要按峰值预测,按当前水位外推会低估
- 性能预算:分布式 ID 要有明确的性能预算,没有预算的优化会过度投入
2.3 扩容
扩容的缓存失效要有兜底重建,数据库里并发重建同一键的穿透问题需要用互斥或合并解决。
- 测试自动化:扩容的关键路径要有自动化测试兜底
- 部署平滑:扩容的部署要平滑,避免瞬间断流
- 契约:扩容的接口契约要写成可执行的测试,而不是只写在文档里
路由、分布式 ID、扩容的交接点是最脆弱的地方,每一段都自证正确并不能保证整条链正确。
路由 → 分布式 ID → 扩容
路由与分布式 ID 的接口错误语义要一致,避免误判。
三、最小可运行实现
一次数据库演练中,路由与分布式 ID 同时切换数据库,事务跨库失败,部分数据只写了一半。
方案是把路由的串行确认改成并行确认,并给整体设一个超时上限。分布式 ID 的等待不再层层累加。
用一段代码把路由、分布式 ID、扩容的调用顺序固定下来,降级逻辑从略。
# 分库分表:全局 ID 生成、扩容双写与灰度切流
import time
class Snowflake:
def __init__(self, worker_id, epoch=1700000000000):
self.worker_id = worker_id & 0x1F # 5 位 worker
self.epoch = epoch
self.seq = 0
self.last_ms = -1
def next_id(self):
ms = int(time.time() * 1000) - self.epoch
if ms == self.last_ms:
self.seq = (self.seq + 1) & 0xFFF # 12 位序列,毫秒内自增
else:
self.seq = 0
self.last_ms = ms
return ms * 4194304 + self.worker_id * 4096 + self.seq
class ShardRouter:
def __init__(self, old, new, ratio=0.0):
self.old, self.new, self.ratio = old, new, ratio
def write(self, key):
# 灰度切流:按比例把写流量从旧分片挪到新分片
self.old.put(key)
if self.ratio >= 1.0 or self.ratio * 100 > hash(key) % 100:
self.new.put(key)
四、验证与调优
MySQL 的分库分表调参前后的对照(固定其他变量,一次只改一个参数):
| 环节 | 单次耗时 | 占关键路径 | 优化手段 |
|---|---|---|---|
| 路由 | 1.9ms | 38% | 把高频小对象合并成一次批量申请 |
| 分布式 ID | 3.0ms | 27% | 把灰度流量单独观测 |
| 扩容 | 4.2ms | 20% | 把回滚方案提前演练到位 |
整体指标:P99 从 320ms 降到 121ms(-62%),吞吐从 19 万 QPS 提升到 42 万 QPS(+121%),CPU 占用从 90% 降到 58%。
4.1 灰度策略
- 阶段一(数据库):先在内部系统验证单点登录对接
- 阶段二(数据库):扩展到合作方系统,观察会话差异
- 阶段三(数据库):覆盖外部用户,重点看互踢与过期
- 阶段四(数据库):全量启用,认证策略可按端配置
4.2 观测面
给 MySQL 的分库分表的消息链路单独记积压与消费延迟,生产正常不代表消费跟得上。
- 指标(数据库):容量水位与排队长度联动看,单看一个容易误判
- 日志(数据库):把慢请求的上下文单独落盘,避免被采样丢掉
- 告警(数据库):告警里带「最近一次正常时间」,缩短定位路径
五、结论
先给路由、分布式 ID、扩容补齐度量,MySQL 的分库分表的优化才有方向。
- 度量要有目标(数据库):指标要能回答一个明确的问题
- 效率要能度量(数据库):没有度量,改进就只能靠感觉
- 效率要能改进(数据库):度量之后要有闭环,否则只是数字
文中 MySQL 的分库分表的讨论不替代原始文档,细节请查官方说明。

发表评论 取消回复