讨论 Agent 的记忆管理时,最容易滑向两种偷懒:只讲概念,或者只贴代码。本文把上下文压缩、长期检索、遗忘策略这 3 件事分开谈,各自的边界、代价和验证手段都写清楚。

一、问题定位

把 Agent 的记忆管理出问题的工单摊开看,绝大多数不是单点写错,而是上下文压缩与长期检索之间的假设对不上:一方认为状态已收敛,另一方仍在按旧快照决策。Agent 的记忆管理的这类不一致在小流量下几乎不可见,放大到生产规模后才以长尾延迟、重复执行、状态漂移的形式冒出来。

1.1 为什么现在更值得讨论

三条趋势叠加,让 AI 工程场景下的 Agent 的记忆管理从「可选项」变成了「必答题」:

  • 故障成本上升:一次长尾故障带来的业务损失远高于优化投入
  • 技术栈收敛:同类系统越来越少,方案选型更看重可维护性
  • 审计要求:变更需要可追溯,状态变更必须留痕

二、按要点拆解:Agent 的记忆管理

2.1 上下文压缩

上下文压缩的常见误用是把它当成纯技术问题,实际上上下文压缩有一半是流程问题:谁有权限改、改了谁验证、怎么回滚,都要先定下来。

  • 变更可逆:上下文压缩的配置与代码要能在 30 秒内回到上一版
  • 幂等:上下文压缩被重复触发时结果一致,且不产生额外副作用
  • 资源:上下文压缩单次操作的内存与连接占用要能算出来,避免压力下雪崩

2.2 长期检索

做长期检索时建议先画出它的状态集合:哪些是稳定态、哪些是过渡态、过渡态允许停留多久。长期检索的状态机一旦显式化,重试与幂等的问题会自己浮出来。

  • 幂等:长期检索被重复触发时结果一致,且不产生额外副作用
  • 文档同步:长期检索的边界条件与默认值要写进仓库,而不是留在人脑里
  • 超时预算:长期检索的每次调用都要有明确上限,并计入调用方的总预算

2.3 遗忘策略

做遗忘策略时建议先画出它的状态集合:哪些是稳定态、哪些是过渡态、过渡态允许停留多久。遗忘策略的状态机一旦显式化,重试与幂等的问题会自己浮出来。

  • 版本标识:遗忘策略的每次变更都要带版本,便于灰度期间对比效果
  • 文档同步:遗忘策略的边界条件与默认值要写进仓库,而不是留在人脑里
  • 契约:遗忘策略的输入输出、超时与错误码要在接口层固定,调用方不依赖内部实现

把 3 个要点串起来看,它们构成一条有方向的链:

上下文压缩 → 长期检索 → 遗忘策略

把上下文压缩和长期检索的耗时拆开看,就知道该先动哪一环:占比高的那部分,投入产出比通常最好。

三、最小可运行实现

压测环境里一切正常、上线后长尾翻倍,是 AI 工程项目里最常见的落差。这次的原因是上下文压缩在最坏路径上的耗时被平均值掩盖了,而长期检索又把这个耗时按队列长度放大。

我们选择不优化正常路径,而是把上下文压缩与长期检索之间的缓冲区加上下限保护,并让它在上限触发时主动丢弃低优先级任务,保证高优先级请求不受影响。

下面是核心逻辑的实现骨架(AI 工程场景):

# ReAct 循环:思考 → 行动 → 观察,带最大步数与工具白名单护栏
import json


def model_decide(question, trace, observation):
    """占位:真实实现由 LLM 产出下一步决策 JSON。"""
    return json.dumps({
        "thought": "根据当前观察决定下一步",
        "action": "finish",
        "arg": "示例答案",
    })


def react_loop(question, tools, max_steps=8):
    """tools: {name: callable(arg) -> str};计划外的工具名一律拦截。"""
    trace = []
    observation = f"用户问题:{question}"
    for step in range(max_steps):
        d = json.loads(model_decide(question, trace, observation))
        thought, action, arg = d["thought"], d["action"], d["arg"]
        if action == "finish":
            trace.append({"step": step, "thought": thought, "answer": arg})
            return arg, trace
        if action not in tools:
            observation = f"工具 {action} 不在白名单,可用:{sorted(tools)}"
            continue
        try:
            observation = tools[action](arg)[:4000]  # 截断,防上下文爆炸
        except Exception as e:
            observation = f"工具执行失败:{e}"
        trace.append({"step": step, "thought": thought, "action": action})
    return "达到最大步数上限,提前终止", trace

四、验证与调优

优化前后的对比(同一套压测脚本,取值是三次运行的中位数):

环节单次耗时占关键路径优化手段
上下文压缩1.0ms38%降低锁竞争
长期检索1.6ms27%把重复校验前移到入口
遗忘策略2.2ms20%把串行调用改成并发扇出

整体指标:P99 从 204ms 降到 116ms(-43%),吞吐从 17 万 QPS 提升到 32 万 QPS(+88%),CPU 占用从 65% 降到 43%。

4.1 灰度策略

  • 阶段一:灰度期间只记录不拦截,先建立行为基线
  • 阶段二:开启拦截但保留白名单,处理误报
  • 阶段三:收紧阈值到目标水位,观察误伤率
  • 阶段四:稳定运行两周后,把规则固化进配置中心

4.2 观测面

先定义清楚「什么算异常」,再谈怎么采集:

  • 指标:把容量水位和排队长度放在同一张图上,方便判断趋势
  • 日志:关键状态变更必须留痕,便于事后还原时间线
  • 链路:先覆盖最慢的那条路径,再逐步扩展

五、结论

如果 Agent 的记忆管理只能带走一句话,那就是:上下文压缩、长期检索、遗忘策略里最弱的一环决定了整体上限,先补它。

  • 责任显式化:每个环节谁负责、谁兜底,要写进接口而不靠默契
  • 容量可计算:单次开销能算出来,才有资格谈冗余设计
  • 变更留痕:配置与代码的版本要能追溯,灰度才有意义

本文由 AI 辅助完成,观点与结论基于公开资料与常见实践,具体实施请结合自身约束。

点赞(0) 打赏

评论列表 共有 0 条评论

暂无评论
立即
投稿

微信公众账号

微信扫一扫加关注

发表
评论
返回
顶部