大语言模型

万亿参数大模型推理系统架构:从显存墙到多节点部署的实战工程

深入剖析万亿参数大模型推理的系统化工程架构,涵盖TP/PP/EP/DP四维并行策略组合、KV Cache三级存储/H2O淘汰策略、MXFP4/FP8量化协同、vLLM多节点部署实战(含docker-compose配置)、PD分离架构与Ray调度层调优、关键监控指标与自适应batch调度,以及HBM4-PIM/光学互连/联邦推理等前沿方向展望。

Agent自主决策与博弈工程:从策略推理到生产级博弈智能的系统化构建

本文系统阐述Agent自主决策与博弈工程的核心理论体系与工程实践,涵盖非合作博弈纳什均衡计算、合作博弈Shapley值分配、机制设计与激励相容、拍卖理论四大类设计、多Agent策略交互的马尔可夫博弈建模、虚拟博弈与强化学习的均衡求解算法、以及从DeFi做市到频谱拍卖的行业应用全景。

LLM 推理优化深度实战(最终版)

深入拆解现代LLM推理引擎核心技术——从PagedAttention的显存管理、Continuous Batching的吞吐优化,到Speculative Decoding的解码加速,附带完整代码示例和vLLM部署实践。