同样叫 PostgreSQL 的执行计划,不同团队的实现可能差出数量级,差别往往在扫描、连接、并行这 3 个环节的处理顺序上。
一、问题定位
PostgreSQL 的执行计划的设计里,扫描负责快速决策,连接负责最终一致,两者之间必须有一个明确的交接点。PostgreSQL 的执行计划的交接点没定义,故障就会在扫描与连接之间来回弹。
1.1 为什么现在更值得讨论
把时间尺度拉到三年,会发现这件事的约束条件已经换了一轮:
- 状态分散:同一份数据在多处缓存与副本中流转,一致性窗口被拉长
- 一致性成本高:强一致与高性能的取舍从理论问题变成日常决策
- 演练常态化:故障注入与混沌演练从项目变成例行工作
二、按要点拆解:PostgreSQL 的执行计划
2.1 扫描
扫描的失败模式要提前列出来:超时、重复、乱序、部分成功,每种都要有对应的处理动作,而不是把扫描的失败统一抛给上层。
- 超时预算:扫描的每次调用都要有明确上限,并计入调用方的总预算
- 资源:扫描单次操作的内存与连接占用要能算出来,避免压力下雪崩
- 数据兼容:扫描改造期间,新旧状态格式必须双向可读
2.2 连接
连接的指标要能区分「慢」和「错」。把连接的延迟和错误率分开统计,很多容量问题会被误判成代码问题。
- 灰度颗粒度:连接的变更按流量比例还是按租户/节点放量,决定了回滚速度
- 变更可逆:连接的配置与代码要能在 30 秒内回到上一版
- 数据兼容:连接改造期间,新旧状态格式必须双向可读
2.3 并行
并行的日志级别要谨慎。并行的高频日志在生产环境会变成噪音,真正的关键决策点反而被淹没。
- 回退:给并行明确「降级到哪一档」,而不是「出错就重试」
- 观测:并行至少有成功率、P99、积压量三个指标能被独立查询
- 幂等:并行被重复触发时结果一致,且不产生额外副作用
把扫描、连接、并行看成一条流水线,每一环的输出质量决定下一环的起点:
扫描 → 连接 → 并行
从依赖关系看,扫描是连接的前置条件,任何跳过扫描直接优化连接的做法都会被前置波动吃掉。
三、最小可运行实现
一次线上演练中,扫描被人为降级后,连接的负载立刻翻倍。这说明扫描与连接之间存在隐含的容量依赖,之前一直没人量化过。
我们把扫描的超时按 P99 的三倍重设,同时给连接加了一个本地缓存。调整之后,连接在峰值期间的长尾请求基本消失。
数据库场景下,这部分的核心逻辑可以简化成下面这样:
# PostgreSQL 运维:MVCC 膨胀监控、autovacuum 滞后检测与慢查询画像
import psycopg2
DIAG_SQL = """
SELECT relname,
n_live_tup, n_dead_tup,
round(n_dead_tup * 100.0 / greatest(n_live_tup + n_dead_tup, 1), 1) AS dead_ratio,
last_autovacuum
FROM pg_stat_user_tables
WHERE n_dead_tup != 0
ORDER BY n_dead_tup DESC
LIMIT 10;
"""
def vacuum_advice(row):
"""死元组占比超 20% 且 autovacuum 滞后时,建议低峰手动清理"""
name, dead_ratio, last_auto = row[0], row[3], row[4]
if dead_ratio >= 20.0 and last_auto is None:
return "VACUUM (VERBOSE, ANALYZE) %s;" % name
return None
四、验证与调优
同一环境下的前后对比(关闭了其他变量,只保留本次改动):
| 环节 | 单次耗时 | 占关键路径 | 优化手段 |
|---|---|---|---|
| 扫描 | 0.6ms | 38% | 把串行调用改成并发扇出 |
| 连接 | 1.0ms | 27% | 预分配缓冲区避免扩容 |
| 并行 | 1.3ms | 20% | 减少一次跨进程拷贝 |
整体指标:P99 从 103ms 降到 41ms(-60%),吞吐从 11 万 QPS 提升到 16 万 QPS(+45%),CPU 占用从 67% 降到 50%。
4.1 灰度策略
- 阶段一:小规格资源验证功能,不追求性能
- 阶段二:按目标规格压测,确认成本模型
- 阶段三:接入真实流量,观察单位成本变化
- 阶段四:全量后保留成本水位告警与自动缩容
4.2 观测面
把「能回答什么问题」写在每个指标旁边,避免为了采集而采集:
- 指标:按「新增 / 存量」拆分指标,避免被历史数据稀释
- 日志:把配置变更与指标尖峰对齐到同一时间轴
- 链路:关键依赖单独建拓扑,故障时能快速判断影响面
五、结论
PostgreSQL 的执行计划没有一次做对的可能,只有把扫描、连接、并行的边界持续校准,才能让每一次改动都收敛而不是发散。
- 边界先于实现:把不支持的场景明确写出来,比留一个模糊默认值安全
- 最坏路径优先:先测超时、重复、乱序,再测正常流程
- 数据可逆:改造期间新旧格式双向可读,回退才不会卡住

发表评论 取消回复