2025年4月29日,Qwen家族新成员Qwen3正式发布,包含多种模型版本。
1. 模型类型与参数
- MoE 模型:有Qwen3-235B-A22B(总参数2350亿,激活参数220亿)和Qwen3-30B-A3B(总参数300亿,激活参数30亿)。
- 密集模型:包括Qwen3-32B、14B、8B、4B、1.7B、0.6B,均为Apache 2.0开源协议。
2. 上下文长度:密集模型中,0.6B、1.7B、4B为32K,8B及以上为128K;MoE模型均为128K。
模力方舟上的昇腾算力已为您准备好首批0.6B
、8B
、30B
三款模型,其中 30B 为 Mixture-of-Experts(MoE)模型,覆盖从轻量部署到高性能推理的多元应用需求,助力开发者轻松拥抱新一代大模型能力。
在线体验:https://ai.gitee.com/serverless-api?model=Qwen3-30B-A3B
全面升级的 Qwen3 模型性能表现
1. 基准测试结果
- Qwen3-235B-A22B:在ArenaHard(95.6)、AIME'24(85.7)、LiveCodeBench v5(70.7)等测试中,优于DeepSeek-R1、o1、Grok-3等模型,仅在AIME'25(81.5)略低于Gemini-2.5-Pro(86.7)。
- Qwen3-30B-A3B:在ArenaHard(91.0)、AIME'24(80.4)等测试中,超越QwQ-32B(激活参数为其10倍)。
- Qwen3-4B:性能可与Qwen2.5-72B-Instruct媲美,如在ArenaHard中为76.6,Qwen2.5-72B-Instruct为81.2。
2. 优势领域:在编码(如CodeForces Elo Rating)、数学(AIME系列)、多语言(MultilF 8 Languages)任务中表现突出。
Qwen3 关键特性
1. 混合思维模式
- 思考模式:适合复杂问题,支持逐步推理,性能随计算预算(token量)提升而线性增长。
- 非思考模式:响应快速,适用于简单任务,可通过参数 enable_thinking 或指令 /no_think / /think 动态切换。
2. 多语言支持:覆盖119种语言和方言,包括印欧语系、汉藏语系、阿拉伯语、日语、韩语等。
3. 增强的代理能力:优化了编码和工具调用能力,推荐搭配Qwen-Agent使用,支持MCP协议和自定义工具集成。
Qwen3 训练与架构
1. 预训练数据:使用36万亿token,是Qwen2.5的2倍,涵盖网页、PDF文档(通过Qwen2.5-VL提取文本),并通过Qwen2.5-Math/Code生成数学和代码合成数据。
2. 训练阶段
-
S1:基于30万亿token、4K上下文,构建基础语言能力。
-
S2:增加STEM、编码等知识密集型数据,新增5万亿token训练。
-
S3:使用长上下文数据,将上下文扩展至32K(最终支持128K)。
3. 架构优化:MoE模型通过稀疏激活降低计算成本,密集模型参数效率更高,如Qwen3-4B性能相当于Qwen2.5-72B。
官方博客:https://qwenlm.github.io/blog/qwen3/
昇腾加速,释放 MoE 潜能
此次在模力方舟首发的0.6B
、8B
、30B
三款Qwen3
模型,均基于细粒度专家调度机制,具备更优的推理效率与更低的推理成本。支持最大 256K 上下文长度,统一推理与非推理模式,灵活应对长文理解、多轮对话、复杂推理与智能 Agent 开发等高阶任务。
为释放Qwen3
的强大性能,模力方舟基于昇腾最新发布的vLLM Ascend v0.8.4rc2
进行适配。新版vLLM Ascend
率先实现Ascend W8A8
量化、DeepSeek
并行机制适配,并启用PyTorch 2.5.1
及Torch.compile
图模式特性,在推理性能、兼容性与开发体验上全面升级,为大模型部署提供了更高效、更专业的基础能力。
在线体验 Qwen3
在线体验 Qwen3 的强大实力:
https://ai.gitee.com/serverless-api?model=Qwen3-30B-A3B
https://ai.gitee.com/serverless-api
模力方舟的 AI 模型广场提供了行业大模型、文本生成、视觉模型、语音多模态、图像生成与处理、3D生成、文档处理/OCR、视频生成、自动语音识别、语音合成、向量化和重排、代码生成、风控识别十三大类共 81 款各领域的顶尖开源模型的在线体验和 API 使用。通过购买模型资源包,即可通过极低的价格即可尽享众多主流模型。
https://ai.gitee.com/serverless-api