数据库场景里,查询优化器的代价模型的讨论容易被工具细节带偏,真正该先定的是统计信息、选择率估算、计划回退的责任边界。

一、问题定位

查询优化器的代价模型的复杂度几乎都藏在「谁来兜底」这个问题里:统计信息失败之后由选择率估算接管,选择率估算也失败时呢?如果没有第三个层次的答案,查询优化器的代价模型的链路上任何一次抖动都会被放大成事故。

1.1 为什么现在更值得讨论

从「能用」到「好用」,查询优化器的代价模型在数据库里的差距主要不在功能:

  • 自动化优先(数据库):重复三次的流程就该脚本化
  • 人工只处理例外(数据库):常规路径无人干预,异常才叫醒人
  • 失败可自愈(数据库):常见故障有自动恢复路径

二、按要点拆解:查询优化器的代价模型

2.1 统计信息

讨论统计信息时,先分清哪些是必须保证的性质、哪些只是实现细节。把统计信息的性质写成测试用例,实现细节才敢随便改。

  • 限流保护:统计信息要能拒绝超过处理能力的请求,而不是让队列无限堆积
  • 版本标识:统计信息的每次变更都要带版本,便于灰度期间对比效果
  • 文档同步:统计信息的边界条件与默认值要写进仓库,而不是留在人脑里

2.2 选择率估算

选择率估算的并发模型要显式声明。数据库里选择率估算是串行、并行还是分片,直接决定了它的容量上限。

  • 幂等:选择率估算被重复触发时结果一致,且不产生额外副作用
  • 限流保护:选择率估算要能拒绝超过处理能力的请求,而不是让队列无限堆积
  • 灰度颗粒度:选择率估算的变更按流量比例还是按租户/节点放量,决定了回滚速度

2.3 计划回退

计划回退的重试要有限度并带退避。数据库里无脑重试的计划回退,会把下游的短暂抖动放大成雪崩。

  • 超时预算:计划回退的每次调用都要有明确上限,并计入调用方的总预算
  • 依赖降级:计划回退依赖的下游不可用时,要有可自动切换的备选路径
  • 状态可见:计划回退的当前状态要能被外部查询,而不是只能靠日志反推

理清统计信息、选择率估算、计划回退的依赖顺序,是判断 3 个环节轻重缓急的前提:

统计信息 → 选择率估算 → 计划回退

把统计信息和选择率估算的耗时拆开看,就知道该先动哪一环:统计信息占比高的那部分,投入产出比通常最好。

三、最小可运行实现

数据库服务上线后出现过一次诡异的抖动:统计信息与选择率估算的指标都在正常区间,用户侧的超时率却升高了。排查发现是两者的重试策略叠加,把选择率估算的连接数打满。

我们选择不优化正常路径,而是把统计信息与选择率估算之间的缓冲区加上下限保护,并让它在上限触发时主动丢弃低优先级任务,保证高优先级请求不受影响。

下面用一段代码把统计信息、选择率估算、计划回退串起来,真实项目还需补上降级与监控:

# 查询优化器:基于代价的连接顺序选择、统计信息与计划回退
import statistics

class TableStat:
    def __init__(self, name, rows, distinct_keys):
        self.name = name
        self.rows = rows
        self.distinct_keys = distinct_keys

    def selectivity(self, predicate_rows):
        """选择率估算:命中行数 / 总行数,下限 1 行避免零代价"""
        return max(predicate_rows, 1) / max(self.rows, 1)

def join_cost(left, right, sel):
    """嵌套循环代价 = 外层行数 × 内层行数 × 选择率,小表做内层"""
    if left.rows > right.rows:
        inner, outer = right, left
    else:
        inner, outer = left, right
    return outer.rows * inner.rows * sel

def choose_join_order(stats, sel):
    """贪心:每步选代价最小的两表连接,直到全部合并"""
    plans = list(stats)
    while len(plans) > 1:
        best = None
        for i in range(len(plans)):
            for j in range(i + 1, len(plans)):
                c = join_cost(plans[i], plans[j], sel)
                if best is None or best[0] > c:
                    best = (c, i, j)
        _, i, j = best
        merged = TableStat(
            plans[i].name + " JOIN " + plans[j].name,
            int(plans[i].rows * plans[j].rows * sel),
            max(plans[i].distinct_keys, plans[j].distinct_keys),
        )
        plans = [p for k, p in enumerate(plans) if k != i and k != j] + [merged]
    return plans[0].name

def plan_fallback(candidate, baseline):
    """代价估算偏差超阈值时回退基线计划,抑制参数嗅探抖动"""
    ratio = candidate / baseline if baseline else 1.0
    if ratio > 2.0 or 0.5 > ratio:
        return "baseline"
    return "candidate"

四、验证与调优

查询优化器的代价模型的分段统计结果(按流量区间拆分,避免平均值掩盖长尾):

环节单次耗时占关键路径优化手段
统计信息1.4ms38%减少一次序列化与反序列化的往返
选择率估算2.2ms27%把两次远程调用合成一次批量请求
计划回退3.1ms20%用对象池复用频繁创建的结构体

整体指标:P99 从 180ms 降到 115ms(-36%),吞吐从 5 万 QPS 提升到 10 万 QPS(+100%),CPU 占用从 85% 降到 57%。

4.1 灰度策略

  • 阶段一(数据库):先关闭旁路逻辑,缩小改动面
  • 阶段二(数据库):主路径稳定后,再逐个恢复旁路
  • 阶段三(数据库):全旁路恢复,重点看异常分支
  • 阶段四(数据库):全量后把旁路开关纳入统一配置

4.2 观测面

先建最小可用观测面,再按查询优化器的代价模型的故障复盘逐步补齐,而不是一次性铺满:

  • 指标(数据库):把「资源利用率」与「请求量」放在一起看,判断是否容量问题
  • 日志(数据库):给日志加结构化字段,便于按维度聚合
  • 告警(数据库):告警阈值要能随容量自动调整,避免误报

五、结论

把统计信息、选择率估算、计划回退的失败模式逐一定义清楚,查询优化器的代价模型的可靠性就不是运气,而是可设计的工程结果。

  • 复杂度要显式(数据库):能下沉的不留给业务方
  • 重复要收口(数据库):第三次出现的逻辑就该抽象
  • 默认值即产品(数据库):默认选择决定大多数体验

点赞(0) 打赏

评论列表 共有 0 条评论

暂无评论
立即
投稿

微信公众账号

微信扫一扫加关注

发表
评论
返回
顶部