查询优化器的统计信息与计划选择的落地路径可能不止一条,但查询优化器的统计信息、计划选择、方案对比的验收口径必须先统一。本文给出查询优化器的统计信息与计划选择在数据库场景下的统一口径。
一、问题定位
查询优化器的统计信息与计划选择的事务边界跨了查询优化器的统计信息与计划选择两个服务,任何一边的提交顺序不确定,都会留下悬挂状态。
1.1 为什么现在更值得讨论
查询优化器的统计信息与计划选择的优先级取决于数据库把它放在交付链路的哪一段:
- 持续学习(查询优化器的统计信息与计划选择·查询优化器的统计信息):故障与复盘被转化为流程改进
- 心理安全(查询优化器的统计信息与计划选择·查询优化器的统计信息):问题被及早上报,而不是被掩盖
- 无指责复盘(查询优化器的统计信息与计划选择·查询优化器的统计信息):聚焦系统与流程,而非个人
二、按要点拆解:查询优化器的统计信息与计划选择
2.1 查询优化器的统计信息
查询优化器的统计信息的观测要能区分偶发与持续,数据库的处置优先级才不同。
- 历史兼容:查询优化器的统计信息的变更要评估对历史数据的影响,否则上线报错
- 可用性对齐:查询优化器的统计信息的可用性目标要与业务对齐,技术理想会超投入
- 部分成功:查询优化器的统计信息的故障演练要覆盖部分成功态,它最易留脏状态
2.2 计划选择
计划选择的背压要能传回上游,数据库的缓冲才不会拖垮下游。
- 回滚验证:计划选择的回滚要验证,未验证的回滚路径在真用时可能失效
- 评审覆盖:计划选择的变更评审要看回滚方案,没有回滚方案的变更不该上线
- 灰度观察期:计划选择的灰度观察期要覆盖完整业务周期,短周期会漏掉周期性问题
2.3 方案对比
方案对比的限流阈值要常态化,数据库的峰值才不靠临时预案。
- 差异告警:方案对比的差异要配告警,比对结果异常时立刻通知到人。
- 口径漂移:方案对比要盯住口径漂移,同一指标换人统计就可能对不上。
- 口径登记:方案对比的每个指标口径要登记在案,算法与过滤条件写清楚。
查询优化器的统计信息、计划选择、方案对比的 3 段之间如果没有统一的观测口径,横向对比会把人引入歧途。
查询优化器的统计信息 → 计划选择 → 方案对比
把变更纳入灰度,查询优化器的统计信息与计划选择的差异才可比。
三、最小可运行实现
数据库服务在一次网络分区中,查询优化器的统计信息与计划选择各自进入降级模式,但两者的降级语义不同,恢复后数据出现分叉,只能人工对齐。
我们把查询优化器的统计信息的批量接口拆成分页,计划选择按页消费,单页失败只重试该页,不再整批重来。
查询优化器的统计信息、计划选择、方案对比的实现要先把调用顺序固定下来,再谈异常分支怎么补。
# 查询优化器:基于代价的连接顺序选择、统计信息与计划回退
import statistics
class TableStat:
def __init__(self, name, rows, distinct_keys):
self.name = name
self.rows = rows
self.distinct_keys = distinct_keys
def selectivity(self, predicate_rows):
"""选择率估算:命中行数 / 总行数,下限 1 行避免零代价"""
return max(predicate_rows, 1) / max(self.rows, 1)
def join_cost(left, right, sel):
"""嵌套循环代价 = 外层行数 × 内层行数 × 选择率,小表做内层"""
if left.rows > right.rows:
inner, outer = right, left
else:
inner, outer = left, right
return outer.rows * inner.rows * sel
def choose_join_order(stats, sel):
"""贪心:每步选代价最小的两表连接,直到全部合并"""
plans = list(stats)
while len(plans) > 1:
best = None
for i in range(len(plans)):
for j in range(i + 1, len(plans)):
c = join_cost(plans[i], plans[j], sel)
if best is None or best[0] > c:
best = (c, i, j)
_, i, j = best
merged = TableStat(
plans[i].name + " JOIN " + plans[j].name,
int(plans[i].rows * plans[j].rows * sel),
max(plans[i].distinct_keys, plans[j].distinct_keys),
)
plans = [p for k, p in enumerate(plans) if k != i and k != j] + [merged]
return plans[0].name
def plan_fallback(candidate, baseline):
"""代价估算偏差超阈值时回退基线计划,抑制参数嗅探抖动"""
ratio = candidate / baseline if baseline else 1.0
if ratio > 2.0 or 0.5 > ratio:
return "baseline"
return "candidate"
四、验证与调优
查询优化器的统计信息与计划选择在不同哈希表容量下的对照(冲突率与内存):
| 环节 | 单次耗时 | 占关键路径 | 优化手段 |
|---|---|---|---|
| 查询优化器的统计信息 | 0.7ms | 38% | 用组提交减少刷盘次数 |
| 计划选择 | 1.1ms | 27% | 让测试之间互不依赖,可单独运行 |
| 方案对比 | 1.5ms | 20% | 把技术债的偿还做成有计划的 |
整体指标:P99 从 208ms 降到 76ms(-63%),吞吐从 18 万 QPS 提升到 41 万 QPS(+128%),CPU 占用从 82% 降到 62%。
4.1 灰度策略
- 阶段一(查询优化器的统计信息与计划选择·查询优化器的统计信息):先对低价值数据启用压缩,验证解压正确
- 阶段二(查询优化器的统计信息与计划选择·查询优化器的统计信息):覆盖中等数据,观察 CPU 与体积
- 阶段三(查询优化器的统计信息与计划选择·查询优化器的统计信息):放大到高价值数据,重点看延迟
- 阶段四(查询优化器的统计信息与计划选择·查询优化器的统计信息):全量后保留按数据类型分级的压缩开关
4.2 观测面
查询优化器的统计信息与计划选择的观测要能关联到具体版本,定位时才能判断是不是新引入的:
- 副本延迟(查询优化器的统计信息与计划选择·查询优化器的统计信息):副本落后时长可度量,超过阈值要告警
- 读旧检测(查询优化器的统计信息与计划选择·查询优化器的统计信息):读到旧数据的比例要可观测,影响体验时升级处理
- 同步失败(查询优化器的统计信息与计划选择·查询优化器的统计信息):同步失败次数单独统计,连续失败要介入
五、结论
查询优化器的统计信息与计划选择的改造宜小步快跑,查询优化器的统计信息、计划选择、方案对比的大爆炸式重构往往难以收场。
- 消费位点要原子(查询优化器的统计信息与计划选择·查询优化器的统计信息):先提交位点再处理,失败会丢消息;反过来会重复消费
- 消费要幂等(查询优化器的统计信息与计划选择·查询优化器的统计信息):同一个消息被投递多次是常态,业务侧要能接住
- 重复投递当常态设计(查询优化器的统计信息与计划选择·查询优化器的统计信息):不要假设消息只来一次,幂等要成为默认

发表评论 取消回复