1. 为什么要在嵌入式设备上部署YOLOv5?

最近几年,边缘计算和嵌入式AI越来越火,很多开发者都希望在资源受限的设备上跑AI模型。我最早接触这个需求是在一个智能停车场的项目里,当时需要在树莓派上实时检测进出车辆。试过几种方案后,发现YOLOv5确实是个不错的选择。

YOLOv5相比前代有几个明显优势:首先是训练代码更友好,对新手特别友好;其次是模型体积小,YOLOv5s只有27MB;最重要的是推理速度快,在Jetson Nano上能跑到20+FPS。这些特性让它特别适合嵌入式场景。

不过在实际部署时,我发现从训练好的PyTorch模型到最终能在嵌入式设备上稳定运行,中间还有不少坑要踩。比如模型转换时的精度损失问题、推理引擎的选择、内存占用优化等等。下面我就结合自己的实战经验,详细说说这个完整流程。

2. 训练自定义YOLOv5模型

2.1 准备训练环境

训练YOLOv5需要准备Python环境和必要的依赖库。我建议使用Python 3.7或3.8,太高版本可能会遇到兼容性问题。PyTorch版本最好选择1.7以上,CUDA版本根据显卡来定。

安装依赖时可以先用官方提供的requirements.txt:

pip install -r requirements.txt

这里有个小技巧:如果遇到包冲突,可以新建一个conda虚拟环境。我习惯用miniconda管理环境,能避免很多依赖问题。

2.2 准备数据集

数据集的质量直接影响模型效果。我建议至少准备2000张以上的标注图片,类别不要太多,3-5类比较适合嵌入式设备。标注工具推荐用labelImg,生成的YOLO格式标签可以直接用。

数据集目录结构建议这样组织:

dataset/
├── images/
│   ├── train/
│   └── val/
└── labels/
    ├── train/
    └── val/

记得在data目录下创建对应的yaml配置文件,示例:

train: ../dataset/images/train
val: ../dataset/images/val

nc: 3  # 类别数
names: ['person', 'car', 'bicycle']

2.3 开始训练

训练命令很简单:

python train.py --img 640 --batch 16 --epochs 100 --data data/custom.yaml --cfg models/yolov5s.yaml --weights yolov5s.pt

几个关键参数说明:

  • --img:输入图片尺寸,嵌入式设备建议用640或更小
  • --batch:批大小,根据显存调整
  • --epochs:训练轮数,简单数据集100轮足够

训练过程中如果显存不足,可以减小batch size;如果速度太慢,可以尝试--device参数指定GPU。

3. 模型优化与转换

3.1 模型剪枝与量化

原始YOLOv5模型对嵌入式设备来说还是有点大,我们可以做两件事来优化:

  1. 剪枝:移除不重要的神经元
from torch.nn.utils import prune
prune.l1_unstructured(module, name='weight', amount=0.2)
  1. 量化:将FP32转为INT8
model = torch.quantization.quantize_dynamic(
    model, {torch.nn.Linear}, dtype=torch.qint8)

实测下来,剪枝+量化能让模型体积减小60%,速度提升2倍,精度损失控制在3%以内。

3.2 模型格式转换

嵌入式设备通常不能直接运行PyTorch模型,需要转换成通用格式。我推荐两种方案:

  1. ONNX格式(通用性强)
torch.onnx.export(model, dummy_input, "yolov5.onnx", opset_version=11)
  1. TensorRT引擎(NVIDIA设备专用)
import tensorrt as trt
# 转换代码略复杂,建议用官方转换工具

转换时要注意opset版本,太新或太旧都可能出问题。我一般用opset 11,兼容性最好。

4. 嵌入式环境部署

4.1 环境准备

以Jetson Nano为例,需要先安装基础环境:

sudo apt-get update
sudo apt-get install python3-pip libopenblas-dev
pip3 install numpy opencv-python

如果是树莓派,还需要额外安装:

sudo apt-get install libatlas-base-dev

4.2 推理代码优化

嵌入式设备的CPU和内存都很有限,写推理代码时要特别注意:

  1. 使用多线程处理:
from threading import Thread

class InferThread(Thread):
    def run(self):
        # 推理代码
  1. 内存复用:
# 预分配内存
input_buffer = np.zeros((640,640,3), dtype=np.uint8)
  1. 使用C++加速(可选):
// 用libtorch部署速度更快
auto output = module.forward({input_tensor}).toTensor();

4.3 性能调优技巧

经过多次测试,我总结出几个提升性能的方法:

  1. 输入尺寸越小越快,但检测效果会下降,建议不要小于320x320
  2. 使用半精度(FP16)能提升速度,NVIDIA设备支持很好
  3. 关闭不必要的后处理,比如NMS参数可以调松一些
  4. 合理设置电源模式,Jetson Nano的5W和10W模式性能差很多

5. 实际应用中的问题排查

部署时遇到问题很正常,这里分享几个常见问题的解决方法:

  1. 模型加载失败:检查模型格式是否正确,依赖库版本是否匹配
  2. 推理速度慢:用nvtop或htop查看资源占用,可能是CPU瓶颈
  3. 检测效果差:检查输入数据预处理是否和训练时一致
  4. 内存泄漏:定期监控内存使用,确保及时释放资源

有个特别隐蔽的坑是OpenCV的版本问题。不同版本对图像解码的处理不一样,可能导致推理结果不一致。建议固定使用OpenCV 4.5.x版本。

6. 进阶优化方向

如果对性能要求更高,还可以尝试这些方法:

  1. 知识蒸馏:用大模型指导小模型训练
  2. 神经架构搜索(NAS):自动搜索适合硬件的模型结构
  3. 硬件加速:使用NPU或FPGA等专用芯片
  4. 模型分片:将模型拆分到多个设备上运行

我在一个安防项目中用过模型分片,把检测和识别分开部署,整体延迟降低了40%。不过这种方案复杂度较高,适合对实时性要求特别高的场景。

部署完成后,建议用真实场景数据持续优化模型。嵌入式AI不是一蹴而就的,需要不断迭代才能达到理想效果。

Logo

码道开发者社区,聚焦华为云码道 CodeArts 代码智能体,沉淀 Agent、Skill、鸿蒙开发实战内容,供开发者查阅资料、交流技术、分享工程实践

更多推荐