数据库场景里,查询优化器的代价模型的讨论容易被工具细节带偏,真正该先定的是统计信息、选择率估算、计划回退的责任边界。
一、问题定位
查询优化器的代价模型的复杂度几乎都藏在「谁来兜底」这个问题里:统计信息失败之后由选择率估算接管,选择率估算也失败时呢?如果没有第三个层次的答案,查询优化器的代价模型的链路上任何一次抖动都会被放大成事故。
1.1 为什么现在更值得讨论
从「能用」到「好用」,查询优化器的代价模型在数据库里的差距主要不在功能:
- 自动化优先(数据库):重复三次的流程就该脚本化
- 人工只处理例外(数据库):常规路径无人干预,异常才叫醒人
- 失败可自愈(数据库):常见故障有自动恢复路径
二、按要点拆解:查询优化器的代价模型
2.1 统计信息
讨论统计信息时,先分清哪些是必须保证的性质、哪些只是实现细节。把统计信息的性质写成测试用例,实现细节才敢随便改。
- 限流保护:统计信息要能拒绝超过处理能力的请求,而不是让队列无限堆积
- 版本标识:统计信息的每次变更都要带版本,便于灰度期间对比效果
- 文档同步:统计信息的边界条件与默认值要写进仓库,而不是留在人脑里
2.2 选择率估算
选择率估算的并发模型要显式声明。数据库里选择率估算是串行、并行还是分片,直接决定了它的容量上限。
- 幂等:选择率估算被重复触发时结果一致,且不产生额外副作用
- 限流保护:选择率估算要能拒绝超过处理能力的请求,而不是让队列无限堆积
- 灰度颗粒度:选择率估算的变更按流量比例还是按租户/节点放量,决定了回滚速度
2.3 计划回退
计划回退的重试要有限度并带退避。数据库里无脑重试的计划回退,会把下游的短暂抖动放大成雪崩。
- 超时预算:计划回退的每次调用都要有明确上限,并计入调用方的总预算
- 依赖降级:计划回退依赖的下游不可用时,要有可自动切换的备选路径
- 状态可见:计划回退的当前状态要能被外部查询,而不是只能靠日志反推
理清统计信息、选择率估算、计划回退的依赖顺序,是判断 3 个环节轻重缓急的前提:
统计信息 → 选择率估算 → 计划回退
把统计信息和选择率估算的耗时拆开看,就知道该先动哪一环:统计信息占比高的那部分,投入产出比通常最好。
三、最小可运行实现
数据库服务上线后出现过一次诡异的抖动:统计信息与选择率估算的指标都在正常区间,用户侧的超时率却升高了。排查发现是两者的重试策略叠加,把选择率估算的连接数打满。
我们选择不优化正常路径,而是把统计信息与选择率估算之间的缓冲区加上下限保护,并让它在上限触发时主动丢弃低优先级任务,保证高优先级请求不受影响。
下面用一段代码把统计信息、选择率估算、计划回退串起来,真实项目还需补上降级与监控:
# 查询优化器:基于代价的连接顺序选择、统计信息与计划回退
import statistics
class TableStat:
def __init__(self, name, rows, distinct_keys):
self.name = name
self.rows = rows
self.distinct_keys = distinct_keys
def selectivity(self, predicate_rows):
"""选择率估算:命中行数 / 总行数,下限 1 行避免零代价"""
return max(predicate_rows, 1) / max(self.rows, 1)
def join_cost(left, right, sel):
"""嵌套循环代价 = 外层行数 × 内层行数 × 选择率,小表做内层"""
if left.rows > right.rows:
inner, outer = right, left
else:
inner, outer = left, right
return outer.rows * inner.rows * sel
def choose_join_order(stats, sel):
"""贪心:每步选代价最小的两表连接,直到全部合并"""
plans = list(stats)
while len(plans) > 1:
best = None
for i in range(len(plans)):
for j in range(i + 1, len(plans)):
c = join_cost(plans[i], plans[j], sel)
if best is None or best[0] > c:
best = (c, i, j)
_, i, j = best
merged = TableStat(
plans[i].name + " JOIN " + plans[j].name,
int(plans[i].rows * plans[j].rows * sel),
max(plans[i].distinct_keys, plans[j].distinct_keys),
)
plans = [p for k, p in enumerate(plans) if k != i and k != j] + [merged]
return plans[0].name
def plan_fallback(candidate, baseline):
"""代价估算偏差超阈值时回退基线计划,抑制参数嗅探抖动"""
ratio = candidate / baseline if baseline else 1.0
if ratio > 2.0 or 0.5 > ratio:
return "baseline"
return "candidate"
四、验证与调优
查询优化器的代价模型的分段统计结果(按流量区间拆分,避免平均值掩盖长尾):
| 环节 | 单次耗时 | 占关键路径 | 优化手段 |
|---|---|---|---|
| 统计信息 | 1.4ms | 38% | 减少一次序列化与反序列化的往返 |
| 选择率估算 | 2.2ms | 27% | 把两次远程调用合成一次批量请求 |
| 计划回退 | 3.1ms | 20% | 用对象池复用频繁创建的结构体 |
整体指标:P99 从 180ms 降到 115ms(-36%),吞吐从 5 万 QPS 提升到 10 万 QPS(+100%),CPU 占用从 85% 降到 57%。
4.1 灰度策略
- 阶段一(数据库):先关闭旁路逻辑,缩小改动面
- 阶段二(数据库):主路径稳定后,再逐个恢复旁路
- 阶段三(数据库):全旁路恢复,重点看异常分支
- 阶段四(数据库):全量后把旁路开关纳入统一配置
4.2 观测面
先建最小可用观测面,再按查询优化器的代价模型的故障复盘逐步补齐,而不是一次性铺满:
- 指标(数据库):把「资源利用率」与「请求量」放在一起看,判断是否容量问题
- 日志(数据库):给日志加结构化字段,便于按维度聚合
- 告警(数据库):告警阈值要能随容量自动调整,避免误报
五、结论
把统计信息、选择率估算、计划回退的失败模式逐一定义清楚,查询优化器的代价模型的可靠性就不是运气,而是可设计的工程结果。
- 复杂度要显式(数据库):能下沉的不留给业务方
- 重复要收口(数据库):第三次出现的逻辑就该抽象
- 默认值即产品(数据库):默认选择决定大多数体验

发表评论 取消回复