人工智能

Agent测试工程:从单元验证到系统级评估的方法体系

Agent工程实践系列第十二篇:构建Agent测试四层金字塔——单元验证(prompt模板、工具调用签名、单步推理)、行为测试(场景驱动、边界探测、鲁棒性)、集成测试(E2E流水线、多轮一致性、外部依赖)、系统评估(LLM-as-Judge、对抗测试、回归测试床),覆盖Agent特有的四大失效模式(幻觉级联、工具调用漂移、上下文泄露、对抗性解译),提供可落地的CI流水线和质量指标仪表盘设计。

大模型语料去重工程实战:从 MinHash-LSH 的概率曲线到 10TB 语料流水线

拆解预训练语料去重的三层漏斗:归一化精确去重、MinHash-LSH 近重复召回、embedding 语义兜底。从 MinHash 的无偏估计性质与 1-(1-s^r)^b 分带概率曲线出发,给出签名、分桶、候选复核与连通分量的可运行代码,并总结倾斜桶、阈值拍脑袋、去重后分布偏斜等生产级坑点与验收清单。