AI大模型从零开始系列教程（02）部署本地大模型
之前两篇文章对于 AI 有了初步的了解，但是如何应用 AI 技术呢？去调用 openai 的接口，或者国内的接口都需要付费，而且接口调用次数有限，所以我们需要部署一个本地的大模型，这样就可以自己使用，而且可以自己控制调用次数。正好最近 DeepSeek比较火热，所以我们就在本地尝试部署一下 DeepSeek-R1大模型吧。
在开始之前，我们需要先了解一下 DeepSeek[2], 官网介绍是这么写的：
探索未至之境，DeepSeek-V3 在推理速度上相较历史模型有了大幅提升。
在目前大模型主流榜单中，DeepSeek-V3 在开源模型中位列榜首，与世界上最先进的闭源模型不分伯仲。
同时它开源了几个大模型，主要如下：
- • DeepSeek-R1[3]，总参数671B，上下文长度最大支持128K，是在性能对齐 OpenAI-o1 正式版。
- • DeepSeek-V3[4]，DeepSeek 上一代开源大模型。
因此，作为最新的大模型，DeepSeek-R1 是我们部署的首选。接下来我们继续了解 DeepSeek-R1。
2025.01.20 DeepSeek-R1 发布，DeepSeek R1 是 DeepSeek AI 开发的第一代推理模型，擅长复杂的推理任务，官方对标OpenAI o1正式版。适用于多种复杂任务，如数学推理、代码生成和逻辑推理等。
根据官方信息DeepSeek R1 可以看到提供多个版本，包括完整版（671B 参数）和蒸馏版（1.5B 到 70B 参数）。完整版性能强大，但需要极高的硬件配置；蒸馏版则更适合普通用户，硬件要求较低
** 蒸馏版：”老师教学生“ 让一个庞大的、复杂的模型（老师）教会一个小巧的模型（学生）如何像自己一样聪明地完成任务。**
因此，我们选择部署 DeepSeek-R1 蒸馏版（由于硬件有限，下面部署会使用 32B 的模型），因为这个版本比较适合我们普通用户，而且部署起来比较简单。
2.1 硬件准备
下面是个人硬件配置，大家可以用来参考即可：
- • 内存：32GB
- • GPU：Tesla T4 16GB
- • CPU：32核
- • 操作系统：tLinux 3.1
- • 硬盘：1TB SSD
网上有很多硬件和模型对比资料， 这里我就不详细介绍了，大家可以自行搜索。不过最低要求是：
- • Windows: NVIDIA GTX 1650 4GB 或 AMD RX 5500 4GB，16GB 内存，50GB 存储空间
- • Linux: NVIDIA GTX 1660 6GB 或 AMD RX 5500 4GB，16GB 内存，50GB 存储空间
- • Mac: M2 MacBook Air（8GB 内存）
2.2 软件下载+模型下载
2.2.1 Ollama安装
主要依赖Ollama本地部署,这里再简单介绍一下 Ollama， 官网介绍如下：
Ollama 是一个开源的本地大语言模型运行框架，专为在本地机器上便捷部署和运行大型语言模型（LLM）而设计。官网地址为：https://ollama.com/
Ollama 是一个基于 Go 语言开发的简单易用的本地大语言模型运行框架。可以将其类比为 docker（同基于 cobra (opens new window)包实现命令行交互中的 list,pull,push,run 等命令），事实上它也的确制定了类 docker 的一种模型应用标准。
后面写一篇文章详细介绍一下其使用方法，目前我们先保持现状即可。
Linux安装 Ollama命令很简单：
curl -fsSL https://ollama.com/install.sh | sh
等待安装完成即可，执行下面命令查看是否安装成功：
ollama -h
2.2.2 模型下载
可以在 Ollama 官网下载模型，也可以通过 Ollama 命令下载模型，这里我们使用命令下载：
# 下载模型
ollama pull deepseek-r1:32b
这里需要等待一段下载，看网速，一般至少需要几个小时。
Docker是一个开源的应用容器引擎，可以方便地将应用打包成容器，然后部署到不同的机器上，实现应用的跨平台部署。
后面大模型 Web UI应用部署会使用到 Docker，因此这里也简单介绍一下 Docker 的安装。
具体安装步骤可以参考官方教程：https://docs.docker.com/get-started/get-docker/
国内安装可以参考：https://www.runoob.com/docker/ubuntu-docker-install.html
其实在上一个步骤已经完成模型下载，想要让其运行，则需要进行以下操作：
# 启动 ollama api服务
ollama serve --
#
ollama run deepseek-r1:32b
3.1 测试模型服务
curl http://localhost:11434/api/generate -d '{
"model": "deepseek-r1:32b",
"prompt":"Why is the sky blue?"
}'
# 模型会返回相关结果
3.2 设置允许其他机器访问
经过上面的设置，ollama服务已经启动，但是其他机器无法访问，因此需要设置允许其他机器访问，命令如下：
# 设置允许其他机器访问
vim /etc/systemd/system/ollama.service
# 写入如下内容
[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"
# 重启 ollama api服务
systemctl restart ollama
# 或者如下命令， 关闭或启动 ollama api服务
systemctl stop ollama
systemctl start ollama
有了大模型服务，但是只能在命令窗口里输入聊天感觉不行，那么如何可视化呢？这里推荐一个工具：Dify，官方地址：https://github.com/langgenius/dify。
4.1 部署 Dify
# 安装
git clone https://github.com/langgenius/dify.git
cd dify
cd docker
cp .env.example .env
docker-compose up -d
启动成功后就可以访问了：http://localhost/install 进行配置管理员账号。
4.2 设置模型供应商
在右上角找我的头像，点击设置，选择模型供应商，选择 Ollama，添加模型命名为DeepSeek-32B，具体如下：
alt text
配置完后，就可以开始创建应用，并将模型应用到应用中。
4.3 创建应用
在首页创建空白应用 -> 选择聊天助手 -> 进入应用后在右上角选择 DeepSeek-32B模型，就可以开始聊天。
聊天界面如下：
具体聊天效果，响应速度还可以可以的。
Dify.AI 还支持很多功能，比如：录入知识库，让聊天助手能基于知识库回答用户的问题，这样子就可以变成智能客服了。其他功能大家都可以自己去摸索，后面 AI 系列学习也会继续介绍。
大模型算是目前当之无愧最火的一个方向了，算是新时代的风口！有小伙伴觉得，作为新领域、新方向人才需求必然相当大，与之相应的人才缺乏、人才竞争自然也会更少，那转行去做大模型是不是一个更好的选择呢？是不是更好就业呢？是不是就暂时能抵抗35岁中年危机呢？
答案当然是这样，大模型必然是新风口！
那如何学习大模型 ？
由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。但是具体到个人，只能说是：
最先掌握AI的人，将会比较晚掌握AI的人有竞争优势。
这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。
但现在很多想入行大模型的人苦于现在网上的大模型老课程老教材，学也不是不学也不是，基于此我用做产品的心态来打磨这份大模型教程，深挖痛点并持续修改了近100余次后，终于把整个AI大模型的学习路线完善出来！
在这个版本当中：
您只需要听我讲，跟着我做即可，为了让学习的道路变得更简单，这份大模型路线+学习教程已经给大家整理并打包分享出来, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓
一、大模型经典书籍（免费分享）
AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。
二、640套大模型报告（免费分享）
这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)
三、大模型系列视频教程（免费分享）
四、2025最新大模型学习路线（免费分享）
我们把学习路线分成L1到L4四个阶段，一步步带你从入门到进阶，从理论到实战。
L1阶段:启航篇丨极速破界AI新时代
L1阶段：了解大模型的基础知识，以及大模型在各个行业的应用和分析，学习理解大模型的核心原理、关键技术以及大模型应用场景。
L2阶段：攻坚篇丨RAG开发实战工坊
L2阶段：AI大模型RAG应用开发工程，主要学习RAG检索增强生成：包括Naive RAG、Advanced-RAG以及RAG性能评估，还有GraphRAG在内的多个RAG热门项目的分析。
L3阶段：跃迁篇丨Agent智能体架构设计
L3阶段：大模型Agent应用架构进阶实现，主要学习LangChain、 LIamaIndex框架，也会学习到AutoGPT、 MetaGPT等多Agent系统，打造Agent智能体。
L4阶段：精进篇丨模型微调与私有化部署
L4阶段：大模型的微调和私有化部署，更加深入的探讨Transformer架构，学习大模型的微调技术，利用DeepSpeed、Lamam Factory等工具快速进行模型微调，并通过Ollama、vLLM等推理部署框架，实现模型的快速部署。
L5阶段：专题集丨特训篇 【录播课】
全套的AI大模型学习资源已经整理打包，有需要的小伙伴可以微信扫描下方二维码，免费领取
码道开发者社区，聚焦华为云码道 CodeArts 代码智能体，沉淀 Agent、Skill、鸿蒙开发实战内容，供开发者查阅资料、交流技术、分享工程实践
更多推荐
5
0- 0
已为社区贡献243条内容
所有评论(0)