推理部署

大语言模型推理部署实战:从vLLM到TensorRT-LLM

深入拆解LLM推理部署全链路技术栈,涵盖KV Cache管理、Continuous Batching、量化技术、投机解码等核心优化手法,对比vLLM、TensorRT-LLM、TGI、llama.cpp、SGLang等主流框架,包含生产环境部署架构设计与性能调优实战。

CI/CD 持续集成与部署实战:基于 GitHub Actions 的自动化构建与发布流水线

为什么需要 CI/CD 在团队规模扩大、发布频率提高之后,手工构建、手工打包、手工登录服务器部署的方式很快就会遇到瓶颈:一次发布要敲十几条命令,稍不留神就漏了某一步;分支合并后忘了跑测试,带病代码直接上了生产;回滚只能靠人肉操作,慢且容易出错。