一、大模型微调的主要步骤

1. 环境准备

   • 安装必要库：transformers, datasets, peft（lora训练框架）, swanlab （用于可视化训练过程）等。

   • transformers加载预训练模型。

2. 数据集构造

   • 先查模型的特定的指令微调格式，按格式构造数据。

   • 每条样本包含 instruction、input 和 output。

   • 适配模型的 chat template

3. 数据预处理

   • 使用 Tokenizer 将文本转为模型输入格式。

   • 设置 labels，将非目标部分（如 instruction）设为 -100 以忽略其 loss防止模型预测这部分。

   • 控制最大长度（如 1024 tokens）并截断。

4. 微调配置（LoRA）

   • 使用 peft 库配置 LoRA 参数：

     • r=8, lora_alpha=32, target_modules 指定微调层（如 q_proj, v_proj）。

   • 仅训练插入的低秩矩阵，冻结原模型参数。

   • 启用 gradient_checkpointing=True 降低显存占用。

5. 训练与监控

   • 使用 Trainer 进行训练，配置 TrainingArguments。

   • 使用 SwanLabCallback 监控训练过程（loss、GPU 利用率等）。

   • 保存 LoRA 权重（非完整模型）。

6. 推理与合并

   • 加载原模型和 LoRA 权重。

   • 使用 PeftModel.from_pretrained() 合并权重。

   • 使用 apply_chat_template() 构造输入，进行推理测试。

三、lora高效微调的优缺点分析

✅ 优点

• 高效性：LoRA 只训练少量参数，显存占用低，训练速度快。

• 保留原模型能力：原模型参数不变，避免灾难性遗忘。

• 部署灵活：LoRA 权重可插拔，便于多任务切换。

• 推理无损：LoRA 权重可合并回原模型，推理速度无显著下降。

❌ 缺点

• 表达能力有限：相比全量微调，LoRA 表达能力受限，复杂任务可能效果不佳。

• 依赖原模型质量：若基座模型能力弱，LoRA 提升空间有限。

• 调试复杂：需适配 chat template、tokenizer、数据格式等，调试成本高。

• 任务泛化差：LoRA 模型对未见过的新任务泛化能力较弱。

四、lora技术局限时的备选方案（网上找的）