评估 Agent 的记忆管理方案时,AI 工程团队最容易忽略的是短期上下文、长期存储检索、读写分离的长期维护成本。本文把这 3 个成本项显式列出,再谈取舍。
一、问题定位
很多团队在 Agent 的记忆管理上做优化,一上来就盯短期上下文的性能数字,却忽略了长期存储检索才是真正的瓶颈来源 —— 它决定了系统在压力下能不能自我收敛。先把长期存储检索的收敛性做对,再谈吞吐。
1.1 为什么现在更值得讨论
AI 工程方向最近一年的变化,把 Agent 的记忆管理推到了必须正面处理的位置:
- 需求不确定性增加(AI 工程):业务方要的是「能快速调整」,而不是「一次做对」
- 系统耦合加深(AI 工程):改一处要评估的影响面越来越大
- 知识分散(AI 工程):没有一个人能记住全部细节,文档与代码必须自己说话
二、按要点拆解:Agent 的记忆管理
2.1 短期上下文
短期上下文的重试要有限度并带退避。AI 工程里无脑重试的短期上下文,会把下游的短暂抖动放大成雪崩。
- 数据兼容:短期上下文改造期间,新旧状态格式必须双向可读
- 资源:短期上下文单次操作的内存与连接占用要能算出来,避免压力下雪崩
- 超时预算:短期上下文的每次调用都要有明确上限,并计入调用方的总预算
2.2 长期存储检索
长期存储检索的配置项要有默认值,也要有上限。长期存储检索的配置一旦没有上限,线上的一个手误就能变成大面积故障。
- 数据兼容:长期存储检索改造期间,新旧状态格式必须双向可读
- 观测:长期存储检索至少有成功率、P99、积压量三个指标能被独立查询
- 版本标识:长期存储检索的每次变更都要带版本,便于灰度期间对比效果
2.3 读写分离
读写分离的指标要和业务指标对齐。AI 工程里读写分离技术指标全绿但业务指标恶化,说明度量选错了。
- 隔离:读写分离的异常不能影响同实例上的其他租户或请求
- 灰度颗粒度:读写分离的变更按流量比例还是按租户/节点放量,决定了回滚速度
- 变更可逆:读写分离的配置与代码要能在 30 秒内回到上一版
把短期上下文、长期存储检索、读写分离串起来看,3 个要点构成一条有方向的链:
短期上下文 → 长期存储检索 → 读写分离
长期存储检索的兜底越重,越说明短期上下文的输出不够稳定。与其在长期存储检索不断加保护,不如先把短期上下文的不确定性收敛掉。
三、最小可运行实现
某 AI 工程服务的短期上下文与长期存储检索共用同一个线程池。一次流量高峰里短期上下文占满了线程,长期存储检索只能排队,告警却先指向长期存储检索。
关键改动只有一行:把短期上下文对长期存储检索的调用从「同步等待」改成「带超时的异步确认」,并给等待期间的结果预设一个安全的默认值。
下面用一个简化实现表达短期上下文、长期存储检索、读写分离的协作方式,AI 工程场景的异常分支省略:
# Agent 记忆管理:分层记忆、重要度衰减与 Top-K 检索
import time
class TieredMemory:
def __init__(self, short_cap=8, long_cap=256, decay=0.99):
self.short_cap = short_cap
self.long_cap = long_cap
self.decay = decay
self.short = []
self.long = {}
def add(self, item, importance=1.0):
self.short.append((item, importance, time.time()))
while len(self.short) > self.short_cap:
self._demote(self.short.pop(0))
def _demote(self, entry):
item, score, ts = entry
self.long[item] = (score, ts)
while len(self.long) > self.long_cap:
oldest = min(self.long, key=lambda x: self.long[x][0])
del self.long[oldest]
def retrieve(self, topk=5):
"""按重要度衰减后的得分排序,未命中返回空"""
now = time.time()
scored = [(k, v[0] * (self.decay ** (now - v[1]))) for k, v in self.long.items()]
scored.sort(key=lambda kv: kv[1], reverse=True)
return [k for k, _ in scored[:topk]]
四、验证与调优
按「基线 / 优化后 / 收益」三行记录 Agent 的记忆管理的变化,便于回溯每次调整的贡献:
| 环节 | 单次耗时 | 占关键路径 | 优化手段 |
|---|---|---|---|
| 短期上下文 | 1.0ms | 38% | 合并多次小写入为一次批量提交 |
| 长期存储检索 | 1.6ms | 27% | 把串行调用改成并发扇出 |
| 读写分离 | 2.2ms | 20% | 预分配缓冲区避免扩容 |
整体指标:P99 从 218ms 降到 100ms(-54%),吞吐从 4 万 QPS 提升到 6 万 QPS(+50%),CPU 占用从 91% 降到 61%。
4.1 灰度策略
- 阶段一(AI 工程):先在新数据分片上验证,确认路由正确
- 阶段二(AI 工程):覆盖一半分片,观察跨分片查询
- 阶段三(AI 工程):全分片铺开,重点看热点分片
- 阶段四(AI 工程):全量后保留分片级摘除能力
4.2 观测面
Agent 的记忆管理的观测项上线后要有人负责,无人维护的指标迟早变成误导:
- 指标(AI 工程):关注分位数而不是均值,长尾才是真正的风险
- 日志(AI 工程):保留足够的上下文,让新人也能看懂一次失败
- 复盘(AI 工程):每次故障后更新观测项,让下一次更快定位
五、结论
把短期上下文、长期存储检索、读写分离的边界做成可测试的约束,Agent 的记忆管理的演进才有据可依。
- 先定容量再谈功能(AI 工程):上限决定设计空间,超限等于没有
- 把饱和度当前置指标(AI 工程):它比错误率更早报警
- 限流要与降级配套(AI 工程):拒绝请求也是一种保护

发表评论 取消回复