FlashAttention 算法深度解析:从 IO-Aware 优化到 GPU 硬件极致 FlashAttention 通过 IO-Aware 的 Tiling + Recomputation 策略,将 Self-Attention 的 HBM 访问复杂度从 O(N²) 降至 O(N²/d),在不牺牲数学精度的前提下实现 2-4× 端到端训练加速。 GPU并行计算 2026年10月09日 0 点赞 0 评论 57 浏览
自然语言处理的范式转移:从规则系统到大语言模型 回顾NLP从规则系统到大语言模型的完整演进,深度解析Transformer架构、LLM训练范式和RAG等工程应用 自然语言处理 2026年10月10日 0 点赞 0 评论 48 浏览
vLLM 与 LLM 推理部署实战:从 PagedAttention 到生产级服务架构 深入解析 vLLM 框架核心原理,涵盖 PagedAttention 内存管理、Continuous Batching 调度、并行策略、量化技术和生产级部署架构,附实战调优案例与参数速查表。 推理部署 2026年10月13日 0 点赞 0 评论 43 浏览
Transformer量化压缩技术全景:从GPTQ到AWQ的演进之路 深入解析Transformer模型量化压缩技术全景,涵盖GPTQ、AWQ、SmoothQuant、FP8等主流方法的原理、实现与工程实践,从训练后量化到量化感知训练,全面解读LLM压缩部署的最佳方案。 大语言模型 2026年10月14日 0 点赞 0 评论 38 浏览
Transformer架构的演进之路:从注意力机制到通用计算引擎 系统梳理Transformer架构从2017年诞生至今的完整演进脉络:从原始自注意力机制,到Encoder/Decoder架构分化,到MoE、线性注意力、状态空间模型等前沿方向。 深度学习 2026年10月14日 0 点赞 0 评论 81 浏览
注意力机制的演进:从Seq2Seq到Transformer的核心突破 从Seq2Seq到Transformer,深入解析注意力机制的核心思想、自注意力设计、多头注意力演进、稀疏注意力变体,以及Flash Attention等前沿技术。 深度学习 2026年10月14日 0 点赞 0 评论 71 浏览
多模型协同推理:从 Mixture-of-Experts 到异构模型编排的架构演进 随着大模型生态从"单一巨模型"走向"多模型协作",推理系统正面临一个根本性变革:如何在一次推理任务中协调多个专长模型协同工作,同时维持低延迟和高吞吐?本文从 MoE(Mixture of Experts)的底层机制出发,深入剖析多模型协同推理的系统架构设计。 推理部署 2026年10月14日 0 点赞 0 评论 35 浏览
深度解析Transformer架构:从自注意力机制到现代大模型的基石 全面解析Transformer神经网络架构的核心组件——Scaled Dot-Product Attention、Multi-Head Attention、Positional Encoding、Layer Normalization,以及编码器-解码器结构的设计哲学。 深度学习 2026年10月17日 0 点赞 0 评论 32 浏览
加速思维:大语言模型推理优化技术全景 深入探讨前沿LLM推理优化技术,涵盖KV Cache管理、Flash Attention、PagedAttention、模型量化、推测解码等核心主题 大语言模型 2026年10月27日 0 点赞 0 评论 48 浏览
大语言模型推理优化:从KV Cache到vLLM的深度技术实践 系统讲解大语言模型推理优化核心技术路线,涵盖KV Cache机制、PagedAttention显存管理、Continuous Batching调度、INT8/INT4量化、Speculative Decoding推测解码、FlashAttention IO优化及现代部署架构全景 推理部署 2026年10月27日 0 点赞 0 评论 66 浏览