AI 工程方向的团队做 LLM 部署的分页注意力,踩的坑高度相似:PagedAttention、推理成本、异常路径互相牵连,改一处动全身。本文按 3 个要点组织,先讲清依赖,再谈优化。
一、问题定位
把 LLM 部署的分页注意力的故障按影响面分类,会发现大多数损失来自少数几类场景:PagedAttention 超时、推理成本积压、两者同时发生。LLM 部署的分页注意力的这三类场景提前演练一遍,能省掉很多救火。
1.1 为什么现在更值得讨论
几个变化让 LLM 部署的分页注意力在 AI 工程里比三年前更紧迫:
- 观测内建于功能(AI 工程):监控不再是交付后的补丁
- 日志带上下文(AI 工程):关键决策点的输入输出被完整记录
- 告警可行动(AI 工程):每条告警都指向明确的处置动作
二、按要点拆解:LLM 部署的分页注意力
2.1 PagedAttention
PagedAttention 的演进要兼容旧版本的数据格式。PagedAttention 升级时旧数据读不出来,等于同时丢了两批用户的信任。
- 回退:给 PagedAttention 明确「降级到哪一档」,而不是「出错就重试」
- 文档同步:PagedAttention 的边界条件与默认值要写进仓库,而不是留在人脑里
- 状态可见:PagedAttention 的当前状态要能被外部查询,而不是只能靠日志反推
2.2 推理成本
推理成本的容量要按峰值而不是均值设计。AI 工程里推理成本在均值下很稳,不代表它能扛住尖峰。
- 契约:推理成本的输入输出、超时与错误码要在接口层固定,调用方不依赖内部实现
- 隔离:推理成本的异常不能影响同实例上的其他租户或请求
- 超时预算:推理成本的每次调用都要有明确上限,并计入调用方的总预算
2.3 异常路径
异常路径的验收要包含性能衰减。AI 工程里异常路径上线后性能缓慢衰减,比一次性不达标更难发现。
- 契约:异常路径的输入输出、超时与错误码要在接口层固定,调用方不依赖内部实现
- 变更可逆:异常路径的配置与代码要能在 30 秒内回到上一版
- 版本标识:异常路径的每次变更都要带版本,便于灰度期间对比效果
PagedAttention、推理成本、异常路径的先后关系不是风格问题,而是工程约束:
PagedAttention → 推理成本 → 异常路径
这条链的短板往往不在推理成本,而在 PagedAttention。PagedAttention 一旦不稳定,推理成本的余量再大也会被吃掉。
三、最小可运行实现
压测环境里一切正常、上线后长尾翻倍,是 AI 工程项目里 PagedAttention 与推理成本最常见的落差。这次的原因是 PagedAttention 在最坏路径上的耗时被平均值掩盖了,而推理成本又把这个耗时按队列长度放大。
最终方案是把 PagedAttention 与推理成本的交互从同步改成异步确认,并保留一个同步兜底路径。正常路径走异步,PagedAttention 异常时退回同步,避免全量改造。
用一段伪代码把 PagedAttention、推理成本、异常路径的依赖关系表达出来,细节做了简化:
# LLM 部署:分页 KV 缓存、连续批处理与 chunked prefill
from dataclasses import dataclass, field
BLOCK = 16
@dataclass
class BlockPool:
total: int
used: int = 0
def alloc(self, n):
need = (n + BLOCK - 1) // BLOCK
if need > self.total - self.used:
return None
self.used += need
return list(range(self.used - need, self.used))
def free(self, blocks):
self.used -= len(blocks)
@dataclass
class Batch:
reqs: list = field(default_factory=list)
def add(self, req):
# 连续批处理:新请求直接并入当前批,不等整批结束
self.reqs.append(req)
return len(self.reqs)
def chunked_prefill(tokens, chunk=512):
"""长 prompt 分块前向:每块上限固定,避免单次占满显存"""
return [tokens[i:i + chunk] for i in range(0, len(tokens), chunk)]
四、验证与调优
按「基线 / 改动后 / 理论上限」三档对照 LLM 部署的分页注意力,差距最大的那一行就是下一步:
| 环节 | 单次耗时 | 占关键路径 | 优化手段 |
|---|---|---|---|
| PagedAttention | 0.5ms | 38% | 把全局锁拆成按 key 分片的细粒度锁 |
| 推理成本 | 0.8ms | 27% | 缓存热路径结果 |
| 异常路径 | 1.1ms | 20% | 把两次远程调用合成一次批量请求 |
整体指标:P99 从 126ms 降到 61ms(-52%),吞吐从 14 万 QPS 提升到 27 万 QPS(+93%),CPU 占用从 74% 降到 43%。
4.1 灰度策略
- 阶段一(AI 工程):按请求来源分批,先放开 App 端
- 阶段二(AI 工程):覆盖小程序与 H5,观察端侧兼容性
- 阶段三(AI 工程):放开 Web 端,重点看多端行为一致性
- 阶段四(AI 工程):全量后保留按端回退的开关
4.2 观测面
给 LLM 部署的分页注意力做可观测性,不做全套,只做能定位问题的最小集合:
- 指标(AI 工程):关注分位数而不是均值,长尾才是真正的风险
- 日志(AI 工程):保留足够的上下文,让新人也能看懂一次失败
- 复盘(AI 工程):每次故障后更新观测项,让下一次更快定位
五、结论
LLM 部署的分页注意力没有捷径,能做的是把 PagedAttention、推理成本、异常路径的失败模式逐个定义清楚,让系统在出问题时知道该怎么办。
- 契约先行(AI 工程):接口层的约定比实现细节更值得花时间
- 失败路径一等公民(AI 工程):超时、重试、补偿要和主流程一起测
- 小步可逆(AI 工程):每次变更只改一个变量,出问题能立刻归因

发表评论 取消回复