把 SLO 观测当成整体设计,DevOps 场景下的很多返工本可避免。本文按 DevOps 场景给出 SLO 观测的排序依据。
一、问题定位
SLO 观测的告警风暴往往不是告警太多,而是告警之间没有关联:SLI 分类与错误预算燃烧的告警各自触发,值班的人却看不出它们是同一次故障。
1.1 为什么现在更值得讨论
SLO 观测的复杂度在 DevOps 里要能被经验复用,而不是每次从零开始:
- 故障可复盘(SLO 观测·SLI 分类):每次故障都有复盘,结论闭环
- 经验可复用(SLO 观测·SLI 分类):经验被工具化,不再依赖个人
- 能力可积累(SLO 观测·SLI 分类):团队能力持续积累,不随人员流动流失
二、按要点拆解:SLO 观测
2.1 SLI 分类
SLI 分类的告警要绑定处置动作,只给一个红色状态而不给下一步建议,等于没有告警,这也是设计评审中最值得花时间争论的地方。
- 启动加速:SLI 分类要优化启动路径,减少冷启动延迟
- 顺序性:SLI 分类的乱序到达要有检测与收敛手段,不能默认按到达顺序处理
- 数据补录:SLI 分类要支持数据补录,历史数据缺失总要补
2.2 错误预算燃烧
错误预算燃烧的目标要能达成共识,DevOps 场景下目标不一致会让优化方向相互抵消。
- 慢启动:错误预算燃烧的新实例要慢启动,立刻满负荷容易被压垮
- 会话保持:错误预算燃烧的连接要保持住,频繁重建的握手开销会累积
- 请求合并:错误预算燃烧的相同请求要能合并,突发重复调用可以省掉一大半
2.3 公平排队
公平排队的告警阈值要能按时段调整,DevOps 里固定阈值在低峰期会频繁误报。
- 故障检测:公平排队的探活要区分网络抖动与真实失效,避免误剔除
- 心跳超时:公平排队的心跳超时要大于最坏网络抖动,且可配置
- 节点剔除:公平排队剔除节点后要能重新纳入,且数据能追平
理解了 SLI 分类、错误预算燃烧、公平排队的依赖顺序,后面的取舍就好判断了:
SLI 分类 → 错误预算燃烧 → 公平排队
SLI 分类的输出一旦劣化,错误预算燃烧的所有保护都只是在拖时间。
三、最小可运行实现
一个 DevOps 老服务的 SLI 分类与错误预算燃烧共用一张表,锁竞争在高峰时把整体延迟抬高了三倍。
最终把 SLI 分类与错误预算燃烧之间的代理超时调到两端之和,请求不再被提前掐断。
SLI 分类、错误预算燃烧、公平排队的伪代码里,状态流转要显式,不要藏在副作用里。
// SLO 观测:SLI 分类计数、P99 延迟统计与错误预算燃烧告警
package obs
import (
"net/http"
"time"
"github.com/prometheus/client_golang/prometheus"
"github.com/prometheus/client_golang/prometheus/promauto"
)
var (
requests = promauto.NewCounterVec(prometheus.CounterOpts{
Name: "http_requests_total",
Help: "按路由与状态类别统计的请求数",
}, []string{"route", "class"})
latency = promauto.NewHistogramVec(prometheus.HistogramOpts{
Name: "http_request_duration_seconds",
Buckets: []float64{0.05, 0.1, 0.25, 0.5, 1, 2.5},
}, []string{"route"})
)
type recorder struct {
http.ResponseWriter
code int
}
func (r *recorder) WriteHeader(code int) {
r.code = code
r.ResponseWriter.WriteHeader(code)
}
// 中间件只负责采集,判定交给告警规则:
// 成功率 SLI 低于 99.9% 且 1h 燃烧率超过 14.4,即按 P1 分级
func Middleware(next http.Handler) http.Handler {
return http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
start := time.Now()
rec := &recorder{ResponseWriter: w, code: 200}
next.ServeHTTP(rec, r)
latency.WithLabelValues(r.URL.Path).Observe(time.Since(start).Seconds())
requests.WithLabelValues(r.URL.Path, classify(rec.code)).Inc()
})
}
func classify(code int) string {
switch {
case code >= 500:
return "5xx"
case code >= 400:
return "4xx"
}
return "2xx"
}
四、验证与调优
SLO 观测的关键路径分段耗时,优化点落在占比最高的一段:
| 环节 | 单次耗时 | 占关键路径 | 优化手段 |
|---|---|---|---|
| SLI 分类 | 1.0ms | 38% | 让接口文档与实现一起维护 |
| 错误预算燃烧 | 1.6ms | 27% | 把故障处理步骤写成可执行的手册 |
| 公平排队 | 2.2ms | 20% | 用示例代码承载最常见的用法 |
整体指标:P99 从 237ms 降到 130ms(-45%),吞吐从 11 万 QPS 提升到 22 万 QPS(+100%),CPU 占用从 90% 降到 60%。
4.1 灰度策略
- 阶段一(SLO 观测·SLI 分类):双区域对跑,只比对不切流
- 阶段二(SLO 观测·SLI 分类):把对跑差异收敛到可解释的清单
- 阶段三(SLO 观测·SLI 分类):选一个区域切流,另一区域保持对照
- 阶段四(SLO 观测·SLI 分类):全量后保留区域级一键切回
4.2 观测面
SLO 观测的链路数据要能识别跨服务的性能瓶颈。
- 网络重传(SLO 观测·SLI 分类):重传率作为网络质量先行指标,突增要排查
- 连接重建(SLO 观测·SLI 分类):连接重建次数与原因被记录,区分对端与自身
- 出口峰值(SLO 观测·SLI 分类):出口流量的峰值与持续时间被监控,扩容有依据
五、结论
SLO 观测的演进要靠 SLI 分类、错误预算燃烧、公平排队的验收标准来约束,否则每次改动都会引入新的不确定性。
- 风险要能量化(SLO 观测·SLI 分类):量化到区间,才能比较与排序
- 量化要有区间(SLO 观测·SLI 分类):给单点数字容易误导,区间更诚实
- 风险要能排序(SLO 观测·SLI 分类):排序之后,投入才知道往哪放

发表评论 取消回复