Qwen3-Next 是 Qwen 系列的最新成员,基于 Qwen3 架构进行改进与优化。在保持性能的同时大幅提升训练与推理效率,官方博客中提到,它是朝着“终极训练与推理效率”(ultimate training & inference efficiency)方向迈出了一大步。

        简而言之,Qwen3-Next 旨在让大模型在训练成本更低、推理速度更快的条件下,依然保持前辈 Qwen3 的强大能力。

1. 技术亮点与突破

1.1  稀疏专家(Mixture of Experts, MoE)架构

        模型总参数约 800 亿(80B),但在推理时不激活全部专家,仅启用约 3B 参数(active 参数)参与推理。大幅减少推理时计算资源消耗,同时保留模型的表达能力。

1.2 混合注意力机制(Hybrid Attention + Gate Attention)

        引入新的 attention 机制,比如 “线性注意力 + 门控注意力” 的混合设计,以提升长输入(long context)下的处理效率。当输入 token 数多时,模型第一 token 的生成速度、以及 decode 阶段速度都有明显提升。官方说在 32,000 token 或更高时,“prefill” 阶段比 Qwen3-32B 快 ~10.6 倍,decode 阶段快约 10 倍。

1.3 训练成本大幅降低

        虽然总参数规模比一些 Qwen3 前代模型高,但通过架构设计与活跃参数控制使得训练成本低于 Qwen3-32B。 对比前代模型,训练所需资源显著压缩,更具成本效益。

1.4 思考模式 vs 非思考模式

类似于 Qwen3 系列中已有的混合推理模式(thinking/non-thinking mode),Qwen3-Next 的 Instruct 与 Thinking 两个子模型也支持不同任务的需求。 用户可以对任务复杂性进行区分,复杂的任务用 thinking 模式,快速响应可用非 thinking 模式,以取得速度与准确性的平衡。

1.5 性能表现

        根据公开发布的 benchmark 与测试结果,Qwen3-Next 在多个维度都有优异表现:

        在长上下文 (long context) 情景下,输出第一个 token 的速度在输入 very large token 数量时,比 Qwen3-32B 快 约 10 倍。在 decode 阶段(即生成后续内容时)速度也有类似的提升。性能方面,据说在某些任务 Qwen3-Next-80B-A3B 的评测结果已经等同甚至优于Qwen3-32B。在成本效益方面,用于训练与部署的资源投入显著低于一些大规模密集模型。

2. 意义与潜在应用

        Qwen3-Next 的发布,不只是一次参数或速度的升级,更意味着在几个方向上可能带来实际应用的变革:

2.1 长上下文任务更实用

        比如大篇幅文档理解、法律文本、会议记录、论文摘要等,需要处理非常长输入的场景,以前模型在这些情况下成本太高或速度太慢。Qwen3-Next 的长 context + 快推理,有望使这些任务变得更加可用。

2.2  降低部署门槛

        对于资源有限的机构或企业,小规模硬件、云资源较小的情况,以前较大的模型费用与延迟可能令人望而却步。稀疏激活 + 高效推理意味着在较少计算资源下,也能取得不错效果。

2.3 灵活的用户体验

        用户可根据任务性质选择 “思考” 模式与 “快速响应” 模式,从而在互动式系统、客服机器人、写作辅助工具等场景里获得更好的体验。

2.4 推动 AI 模型架构研究

        Qwen3-Next 在 MoE、混合注意力、长 context scaling 这些方向上的创新,为学术界与工业界提供了新样本,也可能促使其他模型制造者仿效或优化类似思路。

总结

         Qwen3-Next 是一次在效率与性能之间取得漂亮平衡的尝试:在训练成本与推理速度上做出突破,同时不牺牲模型的表现。这对于 AI 应用普及、长上下文任务的可用性、以及资源受限环境的部署都有重要意义。

Logo

码道开发者社区,聚焦华为云码道 CodeArts 代码智能体,沉淀 Agent、Skill、鸿蒙开发实战内容,供开发者查阅资料、交流技术、分享工程实践

更多推荐