LLM

大语言模型推理部署实战:从vLLM到TensorRT-LLM

深入拆解LLM推理部署全链路技术栈,涵盖KV Cache管理、Continuous Batching、量化技术、投机解码等核心优化手法,对比vLLM、TensorRT-LLM、TGI、llama.cpp、SGLang等主流框架,包含生产环境部署架构设计与性能调优实战。

Transformer架构的演进之路:从注意力机制到通用计算引擎

系统梳理Transformer架构从2017年诞生至今的完整演进脉络:从原始自注意力机制,到Encoder/Decoder架构分化,到MoE、线性注意力、状态空间模型等前沿方向。深入分析Flash Attention、RoPE、SwiGLU、DeepNorm等关键技术变革,并展望Transformer与SSM混合、推理时计算扩展、多模态统一等未来趋势。