把 SLO 观测当成整体设计,DevOps 场景下的很多返工本可避免。本文按 DevOps 场景给出 SLO 观测的排序依据。

一、问题定位

SLO 观测的告警风暴往往不是告警太多,而是告警之间没有关联:SLI 分类与错误预算燃烧的告警各自触发,值班的人却看不出它们是同一次故障。

1.1 为什么现在更值得讨论

SLO 观测的复杂度在 DevOps 里要能被经验复用,而不是每次从零开始:

  • 故障可复盘(SLO 观测·SLI 分类):每次故障都有复盘,结论闭环
  • 经验可复用(SLO 观测·SLI 分类):经验被工具化,不再依赖个人
  • 能力可积累(SLO 观测·SLI 分类):团队能力持续积累,不随人员流动流失

二、按要点拆解:SLO 观测

2.1 SLI 分类

SLI 分类的告警要绑定处置动作,只给一个红色状态而不给下一步建议,等于没有告警,这也是设计评审中最值得花时间争论的地方。

  • 启动加速:SLI 分类要优化启动路径,减少冷启动延迟
  • 顺序性:SLI 分类的乱序到达要有检测与收敛手段,不能默认按到达顺序处理
  • 数据补录:SLI 分类要支持数据补录,历史数据缺失总要补

2.2 错误预算燃烧

错误预算燃烧的目标要能达成共识,DevOps 场景下目标不一致会让优化方向相互抵消。

  • 慢启动:错误预算燃烧的新实例要慢启动,立刻满负荷容易被压垮
  • 会话保持:错误预算燃烧的连接要保持住,频繁重建的握手开销会累积
  • 请求合并:错误预算燃烧的相同请求要能合并,突发重复调用可以省掉一大半

2.3 公平排队

公平排队的告警阈值要能按时段调整,DevOps 里固定阈值在低峰期会频繁误报。

  • 故障检测:公平排队的探活要区分网络抖动与真实失效,避免误剔除
  • 心跳超时:公平排队的心跳超时要大于最坏网络抖动,且可配置
  • 节点剔除:公平排队剔除节点后要能重新纳入,且数据能追平

理解了 SLI 分类、错误预算燃烧、公平排队的依赖顺序,后面的取舍就好判断了:

SLI 分类 → 错误预算燃烧 → 公平排队

SLI 分类的输出一旦劣化,错误预算燃烧的所有保护都只是在拖时间。

三、最小可运行实现

一个 DevOps 老服务的 SLI 分类与错误预算燃烧共用一张表,锁竞争在高峰时把整体延迟抬高了三倍。

最终把 SLI 分类与错误预算燃烧之间的代理超时调到两端之和,请求不再被提前掐断。

SLI 分类、错误预算燃烧、公平排队的伪代码里,状态流转要显式,不要藏在副作用里。

// SLO 观测:SLI 分类计数、P99 延迟统计与错误预算燃烧告警
package obs

import (
 "net/http"
 "time"

 "github.com/prometheus/client_golang/prometheus"
 "github.com/prometheus/client_golang/prometheus/promauto"
)

var (
 requests = promauto.NewCounterVec(prometheus.CounterOpts{
  Name: "http_requests_total",
  Help: "按路由与状态类别统计的请求数",
 }, []string{"route", "class"})

 latency = promauto.NewHistogramVec(prometheus.HistogramOpts{
  Name:    "http_request_duration_seconds",
  Buckets: []float64{0.05, 0.1, 0.25, 0.5, 1, 2.5},
 }, []string{"route"})
)

type recorder struct {
 http.ResponseWriter
 code int
}

func (r *recorder) WriteHeader(code int) {
 r.code = code
 r.ResponseWriter.WriteHeader(code)
}

// 中间件只负责采集,判定交给告警规则:
// 成功率 SLI 低于 99.9% 且 1h 燃烧率超过 14.4,即按 P1 分级
func Middleware(next http.Handler) http.Handler {
 return http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
  start := time.Now()
  rec := &recorder{ResponseWriter: w, code: 200}
  next.ServeHTTP(rec, r)
  latency.WithLabelValues(r.URL.Path).Observe(time.Since(start).Seconds())
  requests.WithLabelValues(r.URL.Path, classify(rec.code)).Inc()
 })
}

func classify(code int) string {
 switch {
 case code >= 500:
  return "5xx"
 case code >= 400:
  return "4xx"
 }
 return "2xx"
}

四、验证与调优

SLO 观测的关键路径分段耗时,优化点落在占比最高的一段:

环节单次耗时占关键路径优化手段
SLI 分类1.0ms38%让接口文档与实现一起维护
错误预算燃烧1.6ms27%把故障处理步骤写成可执行的手册
公平排队2.2ms20%用示例代码承载最常见的用法

整体指标:P99 从 237ms 降到 130ms(-45%),吞吐从 11 万 QPS 提升到 22 万 QPS(+100%),CPU 占用从 90% 降到 60%。

4.1 灰度策略

  • 阶段一(SLO 观测·SLI 分类):双区域对跑,只比对不切流
  • 阶段二(SLO 观测·SLI 分类):把对跑差异收敛到可解释的清单
  • 阶段三(SLO 观测·SLI 分类):选一个区域切流,另一区域保持对照
  • 阶段四(SLO 观测·SLI 分类):全量后保留区域级一键切回

4.2 观测面

SLO 观测的链路数据要能识别跨服务的性能瓶颈。

  • 网络重传(SLO 观测·SLI 分类):重传率作为网络质量先行指标,突增要排查
  • 连接重建(SLO 观测·SLI 分类):连接重建次数与原因被记录,区分对端与自身
  • 出口峰值(SLO 观测·SLI 分类):出口流量的峰值与持续时间被监控,扩容有依据

五、结论

SLO 观测的演进要靠 SLI 分类、错误预算燃烧、公平排队的验收标准来约束,否则每次改动都会引入新的不确定性。

  • 风险要能量化(SLO 观测·SLI 分类):量化到区间,才能比较与排序
  • 量化要有区间(SLO 观测·SLI 分类):给单点数字容易误导,区间更诚实
  • 风险要能排序(SLO 观测·SLI 分类):排序之后,投入才知道往哪放

点赞(0) 打赏

评论列表 共有 0 条评论

暂无评论
立即
投稿

微信公众账号

微信扫一扫加关注

发表
评论
返回
顶部