简介

本文详细介绍了字节跳动Seed-OSS-36B大模型的部署与性能测试。该模型拥有原生512K上下文窗口，支持灵活的"思考预算"机制。作者通过vLLM 0.10.2版本在H200显卡上成功部署，测试显示并发处理下可达1500+Tokens/s的速度。模型在长文本处理、数学推理、代码生成等方面表现优异，尤其在RULER测试中达到94.6分，创下开源模型最高分，相比Qwen3-32B有明显优势。

---

字节跳动发布 Seed-OSS 系列大模型有段日子了，最近有空升级了 vLLM，拿出一张 H200 实际部署看看显存占用及性能情况

Seed-OSS-36B

本地字节跳动发布的大模型包括 3 个版本：

• Seed-OSS-36B-Base（基础模型，含合成数据版本）
• Seed-OSS-36B-Base-woSyn（基础模型的"纯净版"，不含合成数据版本）
• Seed-OSS-36B-Instruct（指令微调版本）

模型大小都是 36B。这个模型的特性是可以调整思考长度（类似 GPT-OSS 调整思考长度的 low-high）. 以及 Agent 性能进行了优化。原生上下文长度为 512K。

Seed-OSS-36B 模型的主要特性如下：

• 原生 512K 上下文窗口：端到端专为超长上下文训练，可一次性吞入海量文档、多步链路与智能体轨迹，远超常见 128K 开源上限。
• “思考预算”灵活可控：用户可动态调节推理长度，在成本/延迟与推理深度之间权衡——便于生产级推理管理。
• 推理与智能体性能：模型针对复杂问题求解与工具使用场景调优，同时保持均衡的通用能力。
• 面向研究的发布策略：提供两个基础模型——一个带有合成指令数据，开箱即用性能更高；一个不带合成数据，基础更“纯粹”——同时满足应用与学术需求。
• 现代 LLM 架构：因果解码器仅 Transformer，采用 RoPE 位置编码、GQA 注意力、RMSNorm 和 SwiGLU 激活；共 64 层、36B 参数、5120 隐藏维度、155K 词表。

原生 512K 上下文解锁了全新的应用类别：

• 长文本分析：多文档综合（RFP、法律、研究文献）、大规模日志分析，以及端到端会议语料推理。
• 智能体轨迹：在单会话预算内，保留多步工具调用及类似思维链的中间状态或批评。
• 大规模 RAG：最小化分块压力、扩大检索窗口，实现更丰富的跨段推理，无需激进截断策略。

由于长上下文是原生训练（而非后期追加），模型在超长文本上应能更好保持稳定性与注意力行为，不过仍需针对具体应用做延迟与内存优化。

Seed-OSS-36B-Instruct

完成预训练的 Seed-OSS-36B-Base 模型在多数评测基准上有较好表现，效果优于不包含合成数据的 woSyn 版本。

Seed-OSS-36B-Instruct 是基于 Seed-OSS-36B-Base 进行后训练的模型版本，在数学、代码、推理、Agent 能力、长文本能力等评测中，接近或达到同级别尺寸开源模型的最好水平。

经过指令微调的变体强调指令遵循、推理、智能体任务、编程、多语言、安全性和长上下文，在多个领域都取得了 SOTA 成绩：

• 数学与推理：Seed-OSS-36B-Instruct 在 AIME24 上取得 91.7% 的成绩，在 BeyondAIME 上取得 65，均代表开源领域的最新 SOTA 水平。
• 代码能力：在 LiveCodeBench v6 上，Instruct 模型得分 67.4，同样刷新 SOTA 纪录。
• 长上下文处理：在 RULER（128K 上下文长度）测试中，该模型达到 94.6，创下开源模型的最高分。

vLLM 本地部署

省流：vllm 官方正式版本 0.10.1 及以内版本均部署失败

官方文档提到使用 vllm >= 0.10.0 或更高版本进行推理，还要安装支持 Seed-OSS 的 vLLM 版本：

VLLM_USE_PRECOMPILED=1 VLLM_TEST_USE_PRECOMPILED_NIGHTLY_WHEEL=1 pip install git+https://github.com/vllm-project/vllm.git

内网搞起来还是麻烦，我测试，vllm 至少要 0.10.2 版本才支持 Seed-OSS（0.10.1 和 0.10.1.1 都不行），还有最近热门模型 Qwen3-Next

https://docs.vllm.ai/en/latest/models/supported_models.html#text-generation

我是使用 docker 部署的 vllm 0.10.2

具体过程：

docker pull vllm/vllm-openai:v0.10.2
docker save vllm/vllm-openai:v0.10.2 > vllm102.tar
# tar 包传入生产内网
docker load -i  vllm102.tar #加载镜像
docker run --rm --runtime nvidia
--name seed36-server --ipc=host --gpus '"device=3"'
-p 8007:8000 -v /data/ai:/models vllm/vllm-openai:v0.10.2
--model /models/seed-oss-36-instruct
--chat-template   /models/seed-oss-36-instruct/chat_template.jinja
--served-model-name seed-oss-36 --port 8000
--max-num-seqs 8 --max-model-len  65536 --gpu-memory-utilization 0.6

我的卡是 141GB 显存，刚开始设置 64K 上下文，–gpu-memory-utilization 0.6 报错了，显示空间不足

这是因为模型文件 74GB 左右，64K 的max-model-len，KV 显存需要 16GB

所以调整后顺利加载模型了

对接到 openwebui

日志显示生成速度 48Tokens/s 的样子

性能测试

跑了一下测试脚本，并发很低，总体生成速度 320 多

重新部署，将–max-num-seqs 调整到 50

docker run --rm --runtime nvidia --name seed36-server
--ipc=host --gpus '"device=3"'  -p 8007:8000
-v /data/ai:/models vllm/vllm-openai:v0.10.2
--model /models/seed-oss-36-instruct
--chat-template   /models/seed-oss-36-instruct/chat_template.jinja
--served-model-name seed-oss-36
--port 8000  --max-num-seqs 50
--max-model-len  65536 --gpu-memory-utilization 0.7

重新测试，总体平均 Tokens 1500+Tokens/s

很不错了

总结

这个模型的官方测评结果看，各个方面都领先 Qwen3-32B，尤其是长上下文处理测试中，该模型达到 94.6，创下开源模型的最高分。据我所知，很多公司级的知识库应用多是调用 Qwen3-32B，Seed-OSS-36B-Instruct 这个超长上下文还是很有优势的。

另外，它还有可控思维预算机制，用户可以根据任务复杂性灵活指定模型的推理长度，如设置为 512、1K、2K、4K、8K 或 16K 等。模型在推理过程中会定期触发自我反思，估计已消耗和剩余的预算，对于简单任务可快速响应，复杂任务则可分配更多预算进行深度思考。

但是应该是为了实现这个灵活的推理预算控制，它的思考标签是 seed:think，所以在 openwebui 中它的思考过程不会被准确识别，将会被截断输出到对话框。如果后续对接 Agent 平台不知道会不会有毛病，增加开发成本。## AI大模型学习路线
如果你对AI大模型入门感兴趣，那么你需要的话可以点击这里大模型重磅福利：入门进阶全套104G学习资源包免费分享！

这份完整版的大模型 AI 学习和面试资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

这是一份大模型从零基础到进阶的学习路线大纲全览，小伙伴们记得点个收藏！

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

100套AI大模型商业化落地方案

大模型全套视频教程

200本大模型PDF书籍

👉学会后的收获：👈

• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

LLM面试题合集

大模型产品经理资源合集

大模型项目实战合集

👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓