从0开始学大模型：Qwen2.5-0.5B-Instruct手把手教学

随着大语言模型（LLM）技术的快速发展，越来越多开发者希望亲手实践微调、部署和推理流程。本文以阿里开源的 Qwen2.5-0.5B-Instruct 模型为基础，带你从零开始完成一次完整的 LoRA 微调实战，并掌握模型合并、推理调用等关键环节。

无论你是刚接触大模型的新手，还是想系统梳理微调流程的进阶者，这篇文章都能提供可运行、可复现的完整指南。

---

1. 环境准备与镜像部署

1.1 镜像简介

Qwen2.5-0.5B-Instruct 是通义千问系列中轻量级指令微调模型，具备以下特性：

• 参数规模：0.5B（适合单卡或小集群训练）
• 支持长上下文：最大支持 128K tokens 输入
• 多语言能力：覆盖中文、英文及超过 29 种主流语言
• 结构化输出优化：在 JSON 输出、表格理解等方面表现优异
• 推理友好：可在消费级 GPU（如 4×4090D）上高效部署

该模型特别适用于轻量级任务微调、边缘设备部署和快速原型开发。

1.2 部署环境配置

我们推荐使用支持容器化部署的平台（如 OpenBayes），操作步骤如下：

1. 在平台搜索并选择 Qwen2.5-0.5B-Instruct 镜像；
2. 分配至少 4 块 NVIDIA 4090D 显卡资源；
3. 启动应用后，进入“我的算力”页面，点击“网页服务”访问 JupyterLab 或终端环境。

💡 提示：若本地部署，请确保安装了 CUDA 12.x 和 PyTorch 2.0+ 环境。

---

2. 数据准备与格式化处理

2.1 安装必要依赖库

首先安装微调所需的核心库：

!pip install -q accelerate peft bitsandbytes transformers sentencepiece trl==0.12.0 datasets

其中： - transformers: Hugging Face 模型接口 - peft: 参数高效微调工具（含 LoRA） - bitsandbytes: 实现 4-bit 量化 - trl: 提供 SFT/DPO 训练器 - datasets: 加载公开数据集

2.2 设置缓存路径

为避免默认路径空间不足，建议设置 HF 缓存目录：

import os
os.environ["HF_HOME"] = "/openbayes/home/huggingface"

2.3 加载与格式化数据集

本次使用 YeungNLP/firefly-train-1.1M 中的古文翻译任务子集，目标是将现代汉语翻译为文言文。

from transformers import AutoTokenizer
from datasets import load_dataset

# 加载 tokenizer 并应用 Qwen 的聊天模板
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2.5-0.5B-Instruct")

def format_prompt(example):
    chat = [
        {"role": "system", "content": "你是一个非常棒的人工智能助手，是UP主 “用代码打点酱油的chaofa” 开发的"},
        {"role": "user", "content": example["input"]},
        {"role": "assistant", "content": example["target"]}
    ]
    prompt = tokenizer.apply_chat_template(chat, tokenize=False)
    return {"text": prompt}

# 加载前 500 条样本用于演示
dataset = load_dataset("YeungNLP/firefly-train-1.1M", split="train[:500]")
dataset = dataset.map(format_prompt)

处理后的数据结构如下：

Dataset({
    features: ['kind', 'input', 'target', 'text'],
    num_rows: 500
})

2.4 查看格式化结果

打印一条样例确认 prompt 构建正确：

print(dataset["text"][100])

输出示例：

<|im_start|>system
你是一个非常棒的人工智能助手，是UP主 “用代码打点酱油的chaofa” 开发的<|im_end|>
<|im_start|>user
我当时在三司，访求太祖、仁宗的手书敕令没有见到，然而人人能传诵那些话，禁止私盐的建议也最终被搁置。
翻译成文言文：<|im_end|>
<|im_start|>assistant
余时在三司，求访两朝墨敕不获，然人人能诵其言，议亦竟寝。<|im_end|>

可见已成功应用 Qwen 的 <|im_start|> / <|im_end|> 标记风格。

---

3. 模型加载与量化配置

3.1 配置 4-bit 量化参数

为了节省显存，采用 NF4 量化方式加载模型：

import torch
from transformers import AutoModelForCausalLM, BitsAndBytesConfig

bnb_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_compute_dtype=torch.float16,
    bnb_4bit_use_double_quant=True,
)

model_name = "Qwen/Qwen2.5-0.5B-Instruct"

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    device_map="auto",
    quantization_config=bnb_config,
)

model.config.use_cache = False
model.config.pretraining_tp = 1

⚠️ 注意：启用量化后必须关闭 use_cache，否则梯度检查点会报错。

3.2 加载 Tokenizer

tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
tokenizer.padding_side = "left"  # 左填充对生成更安全

Qwen 系列 tokenizer 不支持 <PAD>，因此无需手动设置 pad token。

---

4. LoRA 微调配置与训练

4.1 配置 LoRA 参数

LoRA（Low-Rank Adaptation）通过低秩矩阵更新权重，大幅降低训练成本。

from peft import LoraConfig, prepare_model_for_kbit_training, get_peft_model

peft_config = LoraConfig(
    lora_alpha=32,
    lora_dropout=0.1,
    r=64,
    bias="none",
    task_type="CAUSAL_LM",
    target_modules=['k_proj', 'v_proj', 'q_proj']  # Qwen 常见注意力投影层
)

# 准备模型进行 k-bit 训练
model = prepare_model_for_kbit_training(model)
model = get_peft_model(model, peft_config)

参数说明：

参数	建议值	说明
r	64	秩越高，表达能力越强，但参数更多
lora_alpha	32	控制 LoRA 层缩放系数
target_modules	['q_proj','k_proj','v_proj']	注意力机制中的线性层

4.2 设置训练参数

from transformers import TrainingArguments

training_args = TrainingArguments(
    output_dir="./results",
    per_device_train_batch_size=2,
    gradient_accumulation_steps=4,
    optim="adamw_torch",
    learning_rate=2e-4,
    lr_scheduler_type="cosine",
    num_train_epochs=1,
    logging_steps=10,
    fp16=True,
    gradient_checkpointing=True,
    save_strategy="no"  # 小规模实验可不保存中间 checkpoint
)

4.3 启动 SFT 训练

使用 TRL 库中的 SFTTrainer 进行监督式微调：

from trl import SFTTrainer

trainer = SFTTrainer(
    model=model,
    train_dataset=dataset,
    dataset_text_field="text",
    tokenizer=tokenizer,
    args=training_args,
    max_seq_length=512,
    peft_config=peft_config
)

trainer.train()

训练完成后保存适配器权重：

trainer.model.save_pretrained("qwen2.5-0.5b-instruct-chaofa")

---

5. 模型合并与推理测试

5.1 合并 LoRA 与基础模型

微调结束后，需将 LoRA 适配器与原始模型合并，生成独立可用的完整模型：

from peft import AutoPeftModelForCausalLM

# 加载微调后的 PEFT 模型
model = AutoPeftModelForCausalLM.from_pretrained(
    "qwen2.5-0.5b-instruct-chaofa",
    low_cpu_mem_usage=True,
    device_map="auto"
)

# 合并并卸载 LoRA 层
merged_model = model.merge_and_unload()

# 保存合并后的模型
merged_model.save_pretrained("merged-qwen2.5-0.5b-instruct", safe_serialization=True)

5.2 使用 Pipeline 进行推理测试

from transformers import pipeline

pipe = pipeline(
    task="text-generation",
    model=merged_model,
    tokenizer=tokenizer
)

prompt_example = """<|im_start|>system
你是一个非常棒的人工智能助手，是UP主 “用代码打点酱油的chaofa” 开发的。<|im_end|>
<|im_start|>user
天气太热了，所以我今天没有学习一点。
翻译成文言文：<|im_end|>
<|im_start|>assistant
"""

result = pipe(prompt_example, max_new_tokens=50)[0]["generated_text"]
print(result)

输出示例：

<|im_start|>system
你是一个非常棒的人工智能助手，是UP主 “用代码打点酱油的chaofa” 开发的。<|im_end|>
<|im_start|>user
天气太热了，所以我今天没有学习一点。
翻译成文言文：<|im_end|>
<|im_start|>assistant
天气甚热，故今日无学一息。

模型成功完成了语义转换与文体迁移！

---

6. 其他微调方法拓展：DPO 实践思路

除了标准的 SFT（监督微调），还可以尝试基于人类反馈的强化学习方法，如 DPO（Direct Preference Optimization）。

6.1 DPO 数据格式要求

DPO 需要三元组数据：prompt, chosen, rejected。例如：

{
  "prompt": "<|system|>...\n<|user|>...",
  "chosen": "理想回答</s>",
  "rejected": "较差回答</s>"
}

可使用 argilla/distilabel-intel-orca-dpo-pairs 等偏好数据集。

6.2 DPO 训练核心代码片段

from trl import DPOTrainer, DPOConfig

dpo_config = DPOConfig(
    beta=0.1,
    max_prompt_length=512,
    max_length=512,
    learning_rate=1e-5,
    output_dir="./dpo_results"
)

dpo_trainer = DPOTrainer(
    model=dpo_model,
    args=dpo_config,
    train_dataset=dpo_dataset,
    tokenizer=tokenizer,
    peft_config=peft_config
)

dpo_trainer.train()

DPO 能有效提升模型输出质量，尤其在对话连贯性和安全性方面有显著优势。

---

7. 总结

本文围绕 Qwen2.5-0.5B-Instruct 模型，完整演示了从环境搭建、数据预处理、LoRA 微调到模型合并与推理的全流程，主要内容包括：

1. ✅ 成功部署并运行 Qwen2.5-0.5B-Instruct 镜像；
2. ✅ 使用 apply_chat_template 自动构建符合模型规范的 prompt；
3. ✅ 通过 4-bit 量化 + LoRA 实现低成本微调；
4. ✅ 利用 SFTTrainer 快速完成监督训练；
5. ✅ 完成 LoRA 适配器与 base model 的合并；
6. ✅ 实现合并后模型的 pipeline 推理验证；
7. ✅ 拓展介绍了 DPO 等高级微调策略。

🛠️ 最佳实践建议

• 小模型优先实验：0.5B 级别适合快速迭代验证想法；
• 合理设置 batch size：结合 gradient_accumulation_steps 控制显存；
• 注意 padding_side：生成任务应设为 "left"；
• 及时合并模型：便于后续部署和共享。

现在你已经掌握了大模型微调的基本功，下一步可以尝试更大规模的 Qwen2.5 版本，或探索多模态、Agent 构建等前沿方向。

---

💡 获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。