深度解析Transformer架构:从自注意力机制到现代大模型的基石 全面解析Transformer神经网络架构的核心组件——Scaled Dot-Product Attention、Multi-Head Attention、Positional Encoding、Layer Normalization,以及编码器-解码器结构的设计哲学。 深度学习 2026年10月17日 0 点赞 0 评论 35 浏览
Transformer架构的演进之路:从注意力机制到通用计算引擎 系统梳理Transformer架构从2017年诞生至今的完整演进脉络:从原始自注意力机制,到Encoder/Decoder架构分化,到MoE、线性注意力、状态空间模型等前沿方向。 深度学习 2026年10月14日 0 点赞 0 评论 87 浏览
DeepSeek-V3 Multi-head Latent Attention (MLA) 深度工程:低秩 KV Cache 压缩与分布式推理优化 深度解析 DeepSeek-V3 核心创新 MLA 机制:通过低秩联合压缩将 KV Cache 内存占用降低 320 倍,同时保持完整注意力表达能力。涵盖数学原理、CUDA kernel 融合实现、分布式推理优化以及与 MoE 的协同效应。 推理部署 2026年10月07日 0 点赞 0 评论 75 浏览
ARM SME 矩阵扩展:LLM 推理底层算子的深度工程实践 从 ARMv9.2-A 指令集到 Apple M4 与 Ampere Altra 的实矩阵乘法加速路径。深度剖析 SME 的 ZA 存储模型、FMOPA 外积指令、BF16 GEMM 实现、Attention Score 算子优化,以及 llama.cpp 集成实战与性能调优数据。 推理部署 2026年10月07日 0 点赞 0 评论 80 浏览