大语言模型微调实战：从 LoRA 到 QLORA 的高效参数微调全链路

引言：为什么需要参数高效微调？

大语言模型（LLM）的规模已从最初的数亿参数飙升至数千亿甚至万亿级别。以 LLaMA 3 70B 为例，仅模型权重就占用约 140GB 显存（FP16），进行全量微调（Full Fine-Tuning）需要超过 280GB 的 GPU 内存，这远超单台服务器的承载能力。

参数高效微调（Parameter-Efficient Fine-Tuning, PEFT） 应运而生——它通过冻结预训练模型的大部分参数，仅引入少量可训练参数来适配下游任务。以 LoRA 为例，可训练参数数量不到原始模型的 0.1%，却能达到全量微调 95% 以上的性能。

一、LoRA：低秩适配的数学原理

LoRA（Low-Rank Adaptation）的核心思想基于一个关键假设：模型在适配任务时的权重变化