文章详细介绍了大模型微调所需的工具链，包括Unsloth高效微调框架、vLLM模型推理框架、EvalScope性能评估工具和wandb训练监控工具。提供了完整的安装部署流程、配置方法及代码示例，覆盖了从环境搭建、模型微调到性能评估的全流程，特别强调了Unsloth在提升微调速度和降低显存占用方面的优势，为开发者提供了实用的大模型微调技术指南

一、核心工具

模型微调全流程需安装以下工具：

• 必装工具：Unsloth（高效微调框架）
• 可选工具：

• vLLM（模型调度与推理验证）
• EvalScope（模型性能评估）
• wandb（训练过程监控）

若追求快速上手，可先安装 Unsloth；若需完整流程验证，建议全量安装。

二、Unsloth 安装

Unsloth 是专为大模型设计的动态量化与微调框架，能显著提升微调速度并降低显存占用。

虚拟环境创建

# 创建虚拟环境

框架安装

pip install --upgrade--force-reinstall--no-cache-dir unsloth unsloth_zoo

安装验证

在 Jupyter 中选择 “Python unsloth” 内核，运行以下代码测试：

from unsloth importFastLanguageModel

无报错则安装成功。

核心优势

• 微调速度提升 2-5 倍，显存使用减少 80%
• 兼容 HuggingFace 生态，支持 SFT 和 DPO 等微调方式
• 支持 4 位动态量化，在低显存设备上也能运行大模型

三、vLLM 安装

vLLM 是高效的模型推理框架，用于微调后模型效果验证。

虚拟环境配置

# 创建独立虚拟环境（AutoDL环境可跳过）

框架安装

# 安装依赖库

安装模型下载工具

pip install modelscope

下载模型权重

以 32B 4bit 动态量化模型为例：

modelscope download --model unsloth/Qwen3-32B-unsloth-bnb-4bit --local_dir ./Qwen3-32B-unsloth-bnb-4bit

模型调用测试

启动vLLM 服务

vllm serve ./Qwen3-32B-unsloth-bnb-4bit --enable-auto-tool-choice --tool-call-parser hermes

vLLM调用qwen3参数说明，详见：https://qwen.readthedocs.io/en/latest/deployment/vllm.html#

代码调用测试

from openai import OpenAI

注意

• Unsloth 动态量化模型仅支持单卡调用
• 32B 4bit 模型最低需 22G 显存调用，37G 显存微调
• 目前 vLLM 仅支持 dense 模型，MoE 模型暂不兼容

四、EvalScope 安装部署流程

EvalScope 是大模型性能评估框架，用于对比微调前后模型性能变化。

4.1 环境搭建

# 创建独立虚拟环境

4.2 安装

# 基础安装

4.3 压力测试示例

evalscope perf \

4.4 模型性能评估

这里采用了EvalScope专为Qwen3准备的 modelscope/EvalScope-Qwen3-Test 数据集进行评测，会

围绕模型的推理、指令跟随、代理能力和多语言支持方面能力进行测试，该数据包含 mmlu_pro 、

ifeval 、 live_code_bench 、 math_500 、 aime24 等各著名评估数据集。

数据集地址：https://modelscope.cn/datasets/modelscope/EvalScope-Qwen3-Test/summary

估代码如下：

from evalscope import TaskConfig, run_task

4.5评估结果可视化

evalscope app

访问输出的本地 URL 即可查看评估报告。

五、wandb 安装与注册

wandb 是模型训练可视化工具，用于监控训练过程中的关键指标。

安装

pip install wandb

注册与登录

• 访问wandb 官网(https://wandb.ai/site)注册账号
• 在终端运行登录命令，按提示输入 API 密钥：

wandb login

核心功能

• 实时可视化训练指标（损失值、学习率等）
• 自动记录实验参数与结果，确保可追溯性
• 支持训练中断与恢复
• 多实验对比分析，辅助调优决策

使用方法

在微调代码中加入 wandb 初始化代码：

import wandb

六、相关代码

没仔细整理，做个记录吧，代码来源于网络，侵删。

from unsloth import FastLanguageModel

读者福利大放送：如果你对大模型感兴趣，想更加深入的学习大模型**，那么这份精心整理的大模型学习资料，绝对能帮你少走弯路、快速入门**

如果你是零基础小白，别担心——大模型入门真的没那么难，你完全可以学得会！

👉 不用你懂任何算法和数学知识，公式推导、复杂原理这些都不用操心；
👉 也不挑电脑配置，普通家用电脑完全能 hold 住，不用额外花钱升级设备；
👉 更不用你提前学 Python 之类的编程语言，零基础照样能上手。

你要做的特别简单：跟着我的讲解走，照着教程里的步骤一步步操作就行。

包括：大模型学习线路汇总、学习阶段，大模型实战案例，大模型学习视频，人工智能、机器学习、大模型书籍PDF。带你从零基础系统性的学好大模型！

现在这份资料免费分享给大家，有需要的小伙伴，直接VX扫描下方二维码就能领取啦😝↓↓↓

为什么要学习大模型？

数据显示，2023 年我国大模型相关人才缺口已突破百万，这一数字直接暴露了人才培养体系的严重滞后与供给不足。而随着人工智能技术的飞速迭代，产业对专业人才的需求将呈爆发式增长，据预测，到 2025 年这一缺口将急剧扩大至 400 万！!

大模型学习路线汇总

整体的学习路线分成L1到L4四个阶段，一步步带你从入门到进阶，从理论到实战，跟着学习路线一步步打卡，小白也能轻松学会！

大模型实战项目&配套源码

光学理论可不够，这套学习资料还包含了丰富的实战案例，让你在实战中检验成果巩固所学知识

大模型学习必看书籍PDF

我精选了一系列大模型技术的书籍和学习文档(电子版)，它们由领域内的顶尖专家撰写，内容全面、深入、详尽，为你学习大模型提供坚实的理论基础。

大模型超全面试题汇总

在面试过程中可能遇到的问题，我都给大家汇总好了，能让你们在面试中游刃有余

这些资料真的有用吗？

这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理，现任上海殷泊信息科技CEO，其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证，服务航天科工、国家电网等1000+企业，以第一作者在IEEE Transactions发表论文50+篇，获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。

资料内容涵盖了从入门到进阶的各类视频教程和实战项目，无论你是小白还是有些技术基础的技术人员，这份资料都绝对能帮助你提升薪资待遇，转行大模型岗位。

👉获取方式：

😝有需要的小伙伴，可以保存图片到VX扫描下方二维码免费领取【保证100%免费】

相信我，这套大模型系统教程将会是全网最齐全 最适合零基础的！！