前言

最近 Google 发布了 Gemma，是 Gemini 的低配版本，既然是 Google 出品那我一定要来吃螃蟹的。所以我本地部署了一个 7b 的版本来尝试使用一下看看效果。同时也来说明一些有关大模型本地部署使用的一些个人体会，比如，你可能会有以下问题：

1. 怎么本地部署使用？
2. 我本地的电脑能不能跑？
3. 本地跑的效果到底怎么样？

首先，我想敲醒你沉睡的脑子。对于本地部署模型，你先要问清楚自己想要的是什么？也就是为什么需要本地部署，如果仅仅是想跑着玩，那没问题。如果只是平常使用，并且你已经能用 GPT 了，本地其实对于你来说毫无意义，因为你指望你的小电脑哪怕是大显卡能和别人成吨的 A100 相比吗？（夸张的修辞） 如果，醒了还是想玩，那么可以往下看了，最后我会总结本地去跑有哪些优势。

如何部署

这里我推荐两个：

• https://ollama.com/
• https://jan.ai/

这二者基本都已经做到了开箱即用的地步了，其中我会更喜欢 ollama 一点。所以我就简单列一下它的步骤（其实官网已经描述的非常详细了，也很简单 https://github.com/ollama/ollama）

1. 下载
2. 运行 ollama run gemma
3. 使用

对的，直接在命令行里面就能直接开始问了，并且也提供了 API 接口。如果你需要一个 UI 界面，我推荐使用 https://github.com/open-webui/open-webui 也是一个命令就可以直接在本地运行

代码语言：javascript

复制

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

能不能跑

我本机是 MPB M1 16+256 的配置，一般回答结果反应在 20-30s 左右，根据具体问题的情况来看。我觉得，作为你个人使用，已经是够了。毕竟我也算是老设备了。

然后我给出我的跑的建议（个人总结，仅供参考，能不能跑起来还是实际说了算）：

• 8G 及以下的，并且用 CPU 的，只建议跑 2b 的版本，虽然官方认为 8G 跑 7b 为下限，但我还是不建议的。
• 16G 的，7b 够用，其他模型的 13b 也能跑但显然会慢一些，具体就看你 CPU 的能力了。
• 32G 建议跑 33b 的，当然也要当前模型有
• 64G 可以尝试跑 70b 的

有大显存显卡的用户肯定会更吃的开一点，但我要说的重点其实是在后面

效果如何

能用！但又不完全能用。（感觉是不是像废话）听我慢慢道来。

测试方面

我不像很多 AI 模型的专业测试一样去测试各种疑难杂症，或者是测试各种幻觉问题或者是违法问题。我就是平常人最普通使用，哪里来那么多破事情呢？下面几个场景我相信能反应一些问题了

翻译

自从用了 AI 翻译之后我是再也不想用原来的普通翻译了，那种 one by one 中式翻译不可谓不难受。对于翻译任务来说，我觉得 Gemma 是可以帮助到你的，虽然依据可能有语法错误，但比一般的翻译好，它能理解一些语意意义的翻译。

做题

数学问题别想了，很容易翻车，其他场景问题还可以。所以如果用它来做题，我不建议。

比如，二进制转换，显然到 15 这里就不对了。

比如，求和，显然也不对。

写代码

我测试了 go 和 rust，go 不错，基本能实现思路，但也会有莫名奇妙不能被调用的方法，rust 可能不太行，也可能是我水平不够，至少编译总是有各种问题。

总结

可以的，我发现 AI 的总结能力还是比较强的，只要给出的内容不是特别零散的，它都能总结的不错，推荐的。

写作

别想了，这我原来也没有期望，当他开始胡说八道的时候我就知道不行了。

重复劳动

可以的，重复劳动有很多的，比如修改各种文章格式，空格、大小写等；再比如对齐；处理表格，简单计算求和。通常来说只要 prompt 写好，来回几次，基本就能得到想要的结果了。

总结

对于本地部署，我想你肯定是有这几方面的考虑：

1. 白嫖：不想花钱买 token，可以，一直白嫖一直爽
2. 隐私：对于被推测的数据不能公开，这一点确实很重要，本地部署直接解决了很多内部数据使用的问题
3. 服务：想要建立服务并调用接口以服务业务场景，说白就是拿来赚钱，但显然现在的反应速度不够，至少需要很多专业设备的支持。

那么，我想告诉你的是，对于现阶段而言，基于我本地部署使用了一段时间之后，我会推荐给想要做本地总结和翻译的用户，这二者的使用上其实是让我满意的，也能达到我的基本需求。其他工作，我还是会直接尝试使用 GPT 来帮助我完成会更加靠谱。

想入门 AI 大模型却找不到清晰方向？备考大厂 AI 岗还在四处搜集零散资料？别再浪费时间啦！2025 年 AI 大模型全套学习资料已整理完毕，从学习路线到面试真题，从工具教程到行业报告，一站式覆盖你的所有需求，现在全部免费分享！

👇👇扫码免费领取全部内容👇👇

​

一、学习必备：100+本大模型电子书+26 份行业报告 + 600+ 套技术PPT，帮你看透 AI 趋势

想了解大模型的行业动态、商业落地案例？大模型电子书？这份资料帮你站在 “行业高度” 学 AI：

1. 100+本大模型方向电子书

2. 26 份行业研究报告：覆盖多领域实践与趋势

报告包含阿里、DeepSeek 等权威机构发布的核心内容，涵盖：

• 职业趋势：《AI + 职业趋势报告》《中国 AI 人才粮仓模型解析》；
• 商业落地：《生成式 AI 商业落地白皮书》《AI Agent 应用落地技术白皮书》；
• 领域细分：《AGI 在金融领域的应用报告》《AI GC 实践案例集》；
• 行业监测：《2024 年中国大模型季度监测报告》《2025 年中国技术市场发展趋势》。

3. 600+套技术大会 PPT：听行业大咖讲实战

PPT 整理自 2024-2025 年热门技术大会，包含百度、腾讯、字节等企业的一线实践：

• 安全方向：《端侧大模型的安全建设》《大模型驱动安全升级（腾讯代码安全实践）》；
• 产品与创新：《大模型产品如何创新与创收》《AI 时代的新范式：构建 AI 产品》；
• 多模态与 Agent：《Step-Video 开源模型（视频生成进展）》《Agentic RAG 的现在与未来》；
• 工程落地：《从原型到生产：AgentOps 加速字节 AI 应用落地》《智能代码助手 CodeFuse 的架构设计》。

二、求职必看：大厂 AI 岗面试 “弹药库”，300 + 真题 + 107 道面经直接抱走

想冲字节、腾讯、阿里、蔚来等大厂 AI 岗？这份面试资料帮你提前 “押题”，拒绝临场慌！

1. 107 道大厂面经：覆盖 Prompt、RAG、大模型应用工程师等热门岗位

面经整理自 2021-2025 年真实面试场景，包含 TPlink、字节、腾讯、蔚来、虾皮、中兴、科大讯飞、京东等企业的高频考题，每道题都附带思路解析：

2. 102 道 AI 大模型真题：直击大模型核心考点

针对大模型专属考题，从概念到实践全面覆盖，帮你理清底层逻辑：

3. 97 道 LLMs 真题：聚焦大型语言模型高频问题

专门拆解 LLMs 的核心痛点与解决方案，比如让很多人头疼的 “复读机问题”：

三、路线必明： AI 大模型学习路线图，1 张图理清核心内容

刚接触 AI 大模型，不知道该从哪学起？这份「AI大模型 学习路线图」直接帮你划重点，不用再盲目摸索！

路线图涵盖 5 大核心板块，从基础到进阶层层递进：一步步带你从入门到进阶，从理论到实战。

L1阶段:启航篇丨极速破界AI新时代

L1阶段：了解大模型的基础知识，以及大模型在各个行业的应用和分析，学习理解大模型的核心原理、关键技术以及大模型应用场景。

L2阶段：攻坚篇丨RAG开发实战工坊

L2阶段：AI大模型RAG应用开发工程，主要学习RAG检索增强生成：包括Naive RAG、Advanced-RAG以及RAG性能评估，还有GraphRAG在内的多个RAG热门项目的分析。

L3阶段：跃迁篇丨Agent智能体架构设计

L3阶段：大模型Agent应用架构进阶实现，主要学习LangChain、 LIamaIndex框架，也会学习到AutoGPT、 MetaGPT等多Agent系统，打造Agent智能体。

L4阶段：精进篇丨模型微调与私有化部署

L4阶段：大模型的微调和私有化部署，更加深入的探讨Transformer架构，学习大模型的微调技术，利用DeepSpeed、Lamam Factory等工具快速进行模型微调，并通过Ollama、vLLM等推理部署框架，实现模型的快速部署。

L5阶段：专题集丨特训篇 【录播课】

四、资料领取：全套内容免费抱走，学 AI 不用再找第二份

不管你是 0 基础想入门 AI 大模型，还是有基础想冲刺大厂、了解行业趋势，这份资料都能满足你！
现在只需按照提示操作，就能免费领取：

👇👇扫码免费领取全部内容👇👇

​

2025 年想抓住 AI 大模型的风口？别犹豫，这份免费资料就是你的 “起跑线”！