LLM
The Tree of Thought: Monte Carlo Tree Search for LLM Reasoning Agents
The Tree of Thought: Monte Carlo Tree Search for LLM Reasoning Agents
CXL 3.0 内存池上的 LLM KV Cache 分层管理：从 DRAM 到持久化内存的近存计算架构
当单次推理请求的KV Cache占用突破百GB级别，GPU HBM容量成为硬性边界，CXL 3.0内存池化提供了全新的KV Cache分层管理方案。本文深入解析四层内存模型设计、热度驱动自动迁移策略以及实战性能基准测试。
AI应用推理成本优化实战：七大工程支柱让推理成本降低90%
系统性讲解AI应用推理成本优化的七大工程支柱：多级缓存架构、智能模型路由、Token预算控制、离线预处理、请求合并批处理、智能降级、成本可观测性，帮助在保持用户体验前提下将AI推理成本降低60%-90%
ARM SME (Scalable Matrix Extension) 在终端 AI 推理中的架构演进与工程实践
深入剖析 ARMv9-A 架构的 Scalable Matrix Extension (SME)：二维 ZA Tile 存储模型、矩阵外积指令（SMOPA/FMOPA）语义、Linux 内核 ZA 上下文管理，以及如何为 MobileLLM 推理中的 QKV Projection 与 Attention 编写高性能 SME 内核，含完整汇编代码和性能基准对比
AI应用中的上下文工程与记忆管理架构(第21部分：从对话孤岛到持久智能——构建有记忆的AI系统)
AI应用中的上下文工程与记忆管理架构——从对话孤岛到持久智能，构建有记忆的AI系统。完整覆盖上下文分层架构、记忆类型学、生命周期管理、存储架构设计、上下文组装流水线以及常见陷阱与反模式
2026年大语言模型推理优化技术深度解析：从KV Cache压缩到推测解码
深入解析2026年大语言模型推理优化技术，包括KV Cache压缩、推测解码和混合精度推理
LLM应用安全对齐工程化2026：提示词注入防御、越狱攻击检测、幻觉抑制与RAG验证实践
全面分析LLM应用安全2026年工程实践方案，涵盖提示词注入防御架构、越狱攻击检测、幻觉抑制与RAG验证及对齐训练闭环。
Model Context Protocol (MCP) 深度实战：构建类型安全的 AI 工具调用协议
深入剖析 Model Context Protocol 的架构、生命周期与四大核心原语（Tools/Resources/Prompts/Sampling），并分别用 TypeScript 官方 SDK 与 Rust 裸 JSON-RPC 从零构建可用 MCP Server，涵盖 stdio 与 Streamable HTTP 传输及安全最佳实践。
AI Agent 记忆系统架构：为自主智能体构建长期记忆
深入解析 AI Agent 记忆系统架构：从工作记忆的 Context Window 管理，到情景记忆的事件日志与级联压缩，再到语义记忆的混合检索与知识图谱，以及程序性记忆的技能提炼。覆盖 Memory Consolidation、多 Agent 共享记忆、隐私合规与成本控制等工程实践。
