模型微调

大模型微调实战:从LoRA到QLoRA的高效参数微调技术

通用大模型在预训练阶段学习了广泛的世界知识,但在特定领域任务上表现不佳——专业术语理解不准、输出格式不符合要求、以及领域知识不足。微调通过在领域数据上继续训练,让通用模型适应特定场景。但全参数微调(Full Fine-Tuning)一个70B模型需要数百GB GPU显存——参数高效微调(PEFT)被提出来解决这个问题。