Rust 实现 LLM 推理引擎深度工程实战：从 Flash Attention 内核到 Continuous Batching
深入拆解如何用 Rust 从零构建 LLM 推理引擎：Flash Attention V2 内核的 SIMD 与 Online Softmax 分块优化、PagedKVCache 的 Copy-on-Write 内存管理、连续批处理调度器的迭代级调度策略。
投稿
微信公众账号
微信扫一扫加关注
顶部