1. LoRA训练入门：为什么选择命令行脚本？

如果你正在寻找一种高效、灵活的Stable Diffusion模型微调方案，LoRA（Low-Rank Adaptation）技术绝对值得尝试。相比全模型微调，LoRA通过低秩矩阵分解大幅降低了训练参数量，让普通显卡也能胜任这项任务。我实测下来，在16GB显存的RTX 3070上，用命令行脚本训练SDXL模型的LoRA权重完全可行。

传统WebUI训练方式虽然直观，但存在几个痛点：参数调整需要反复点击界面、难以批量执行不同配置的训练任务、训练过程日志查看不便。而命令行脚本方案完美解决了这些问题——你可以保存多套参数配置，随时调用不同组合；训练进度直接输出到终端；还能配合nohup实现后台运行。

更关键的是，经过优化的脚本能自动适配SD1.5和SDXL两种架构。这意味着你不需要为不同基础模型准备两套训练环境，同一套代码就能处理：

• SD1.5系列模型（如chilloutmix）
• SDXL系列模型（如JuggernautXL） 只需在启动命令末尾添加"xl"参数即可切换模式，这对需要同时维护多个LoRA项目的开发者来说简直是福音。

2. 环境准备：十分钟快速搭建训练环境

2.1 基础环境检查

假设你已经配置好Ubuntu系统和NVIDIA驱动，首先确认CUDA工具链正常工作：

nvidia-smi  # 查看显卡状态
nvcc --version  # 检查CUDA版本

我推荐使用conda创建隔离的Python环境，避免依赖冲突：

conda create -n lora_train python=3.10
conda activate lora_train
pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118

2.2 获取训练套件

克隆改进版的lora-scripts仓库，这个版本已经整合了对SDXL的支持：

git clone https://github.com/Akegarasu/lora-scripts
cd lora-scripts

安装必要依赖（建议先进入虚拟环境）：

pip install -r requirements.txt

特别提醒：如果遇到accelerate库的兼容性问题，可以尝试指定版本：

pip install accelerate==0.21.0

3. 脚本参数深度解析：从入门到调优

3.1 基础参数配置

打开train.sh脚本，这些核心参数需要重点关注：

pretrained_model="/path/to/base_model.safetensors"  # 底模路径
train_data_dir="/path/to/train_images"  # 训练集路径
resolution="768,768"  # 训练分辨率
batch_size=4  # 批大小
network_dim=128  # LoRA矩阵维度
max_train_epoches=8  # 训练轮次

实测发现几个黄金组合：

• 角色训练：network_dim=64-96，batch_size=2-4
• 画风训练：network_dim=128，batch_size=1-2
• SDXL模型：必须设置train_unet_only=1并降低batch_size

3.2 显存优化技巧

当遇到CUDA out of memory错误时，按优先级尝试：

1. 降低batch_size（效果最直接）
2. 减小resolution（建议保持64的倍数）
3. 开启train_unet_only（SDXL必备）
4. 添加--lowram参数（牺牲部分速度）

这是我的3070显卡实测配置对比：

模型类型	分辨率	batch_size	显存占用
SD1.5	768x768	4	14GB
SDXL	768x896	1	15GB
SDXL(UNET)	512x512	2	10GB

4. 双模型兼容实战：一套代码适配SD1.5/SDXL

4.1 架构差异处理

脚本通过xl_flag参数自动切换处理逻辑：

if [ "$2" = "xl" ]; then
    pretrained_model="/path/to/sdxl_model.safetensors"
    resolution="768,896"  
    train_unet_only=1
    batch_size=1
    xl_flag=1
fi

关键差异点包括：

1. SDXL需要--no_half_vae参数避免数值溢出
2. 使用不同的训练脚本（sdxl_train_network.py）
3. 文本编码器结构变化导致clip_skip失效

4.2 训练启动示例

保存配置后，通过简单命令启动训练：

# SD1.5模型训练
nohup ./train.sh my_lora_model &

# SDXL模型训练 
nohup ./train.sh my_xl_lora xl &

建议使用tee命令同时输出到文件和终端：

./train.sh my_lora | tee train.log

5. 数据准备与训练技巧

5.1 数据集优化方案

训练效果90%取决于数据质量，我的经验是：

1. 图片数量：角色训练至少20张，画风训练需要50+
2. 预处理流程：
   • 统一分辨率（建议512-1024）
   • 去除杂乱背景
   • 使用BLIP或WD1.4打标
3. 目录结构示例：

   /train_images
   ├── 100_character  # 100表示重复次数
   │   ├── img1.jpg
   │   └── img1.txt   # 标签文件
   └── 50_style
       ├── art1.png
       └── art1.txt
   

5.2 训练监控与问题排查

几个实用命令：

# 实时查看loss变化
tail -f logs/tensorboard/*/events.out.tfevents*

# 监控显存使用
watch -n 1 nvidia-smi

# 中断后继续训练
./train.sh my_lora --resume from_checkpoint

常见问题应对：

• loss值波动大：降低学习率（建议1e-4到1e-5）
• 过拟合：增加dropout或减少epoch
• 欠拟合：提高network_dim或增加数据量

6. 模型测试与效果对比

训练完成后，在output目录会生成.safetensors文件。在WebUI中加载测试时注意：

1. SDXL模型需要额外设置--no-half-vae
2. 推荐权重范围：0.5-0.8
3. 对比测试方法：

   # 同一组prompt不同权重对比
   prompt = "portrait of @mylora, detailed eyes"
   for weight in [0.3, 0.5, 0.7, 1.0]:
       generate_image(prompt, lora_weight=weight)
   

这是我整理的参数影响对照表：

参数	影响范围	调整建议
network_dim	细节还原度	32-128，越大越精细
network_alpha	风格强度	通常设为dim的1/2到1/1
batch_size	训练稳定性	根据显存尽可能调大
lr_scheduler	收敛速度	cosine_with_restarts最佳

7. 高级应用：模型融合与迁移学习

当你有多个相关LoRA时，可以尝试权重融合：

from networks.lora import merge_lora_weights
merged = merge_lora_weights([lora1, lora2], [0.7, 0.3])

迁移学习技巧：

1. 使用--network_weights加载已有LoRA
2. 调低学习率（原值的1/10）
3. 配合新数据微调

最近我在一个动漫角色项目中发现，用现有LoRA初始化比从头训练快3倍，最终效果也更稳定。这特别适合需要迭代优化的商业项目。