人工智能

LLM 推理优化深度实战(最终版)

深入拆解现代LLM推理引擎核心技术——从PagedAttention的显存管理、Continuous Batching的吞吐优化,到Speculative Decoding的解码加速,附带完整代码示例和vLLM部署实践。

Linux内核DMA-BUF显式同步与跨驱动缓冲区共享:从零构建零拷贝GPU计算管线

在现代AI推理管线中,数据搬运的耗时往往超过计算本身。CPU与GPU、GPU与GPU、存储与加速器之间的零拷贝数据共享,是突破性能瓶颈的关键。Linux内核的DMA-BUF子系统正是解决这一问题的核心基础设施,而显式同步机制(explicit fencing)则是保证多设备并发访问正确性的基石。本文将深入DMA-BUF的内部机制,从零实现一个跨驱动的零拷贝GPU计算管线。