字节跳动最新思考模型 Seed-Thinking-v1.5 技术报告发布


字节跳动 Seed 最新思考模型 Seed-Thinking-v1.5 技术报告发布,涵盖在数据体系、奖励模型、RL 算法、基础设施等维度的探索:

  • 通过数据层面的精细化处理提升推理能力,融合可验证数据和非可验证数据,并提出全新的评测基准集合;

  • 构建双轨奖励体系,通过可验证问题的智能逻辑验证,融合非可验证问题的两两对比优化,实现数学推理与创意生成等全场景任务的精准训练;

  • 通过 SFT 阶段的精准数据构造,和 RL 阶段的关键算法创新,提高大语言模型的推理上限;

  • 优化了 HybridFlow 编程模型和流式推理系统,并支持张量/专家/序列三层并行架构。

Seed-Thinking-v1.5 是字节跳动 Seed 团队即将推出的智能推理模型。该模型在数学、编程、科学推理等专业领域及创意写作等通用任务中表现突出,同时,模型采用 MoE 架构,总参数 200B,激活参数为 20B,具备显著的推理成本优势。

目前 Seed-Thinking-v1.5 技术报告已公开,4 月 17 日将通过火山引擎开放接口供用户体验。

技术报告链接:https://github.com/ByteDance-Seed/Seed-Thinking-v1.5


相關推薦

2025-04-26

字节跳动方面宣布,其火山引擎边缘大模型网关已全面支持豆包 1.5・深度思考模型。 即日起,用户可以在边缘大模型网关使用豆包全系列模型,并享受 200 万 tokens 免费额度,只要在网关访问密钥使用了本次新增的豆包大模型

2025-04-16

在三月份的月活跃用户数(MAU)达到了近1.5亿,成功超越了字节跳动的 Doubao,成为中国最受欢迎的 AI 应用。 根据南华早报的报道,紧随其后的是 Doubao(豆包),月活跃用户接近1亿,DeepSeek 则约为7700万。 值得一提的是,阿里巴

2024-10-21

近日,有消息称字节跳动发生大模型训练被实习生“投毒”事件。 据悉,该事件发生在字节跳动商业化团队,因实习生田某某对团队资源分配不满,利用HF(huggingface)的漏洞,通过共享模型注入破坏代码,导致团队模型训练成

2025-04-18

字节跳动近日公布了一个仅 70 亿参数的视频生成基础大模型「Seaweed-7B」。 https://seaweed.video/ 令人惊喜的是,该模型以 66.5 万个 H100 GPU 小时训练成本,在文本/图像到视频生成任务中全面超越 140 亿参数的 Wan 2.1,具体来看:

2025-04-18

字节跳动旗下「豆包大模型团队」发文表示,全新图像生成基础模型「Seedream 3.0」技术报告正式发布。 Seedream 3.0 是一个原生高分辨率、支持中英双语的图像生成基础模型,亮点如下: 原生 2K 直出,适配多比例场景:无需后

2024-09-25

字节跳动今天在深圳举办2024火山引擎 AI 创新巡展,并发布豆包·视频生成模型以及豆包·音乐模型、豆包·同声传译模型等产品。 据悉,豆包·视频生成模型能遵从复杂 prompt,解锁时序性多拍动作指令与多个主体间的交互能力

2022-10-20

近日,CNCF 发布了最新版本的云原生全景图。字节跳动多租户网关项目 KubeZoo 被收录,在 Provisioning-Automation & Configuration 领域占有一席之地。这意味着 KubeZoo 正式成为 CNCF 认可的构建云原生最佳实践中的一环。 Landscape

2025-04-17

AI 科技评论独家获悉,字节 AI Lab 即将全部收归 Seed 团队下。 字节 AI Lab 是 Seed 成立之前字节主要的 AI 研发部门,目前由李航管理,自2024年开始向 Seed 时任负责人朱文佳汇报。今年2月下旬,原 Google DeepMind 副总裁吴永辉入职字

2023-03-25

Katalyst 是字节跳动对多年大规模业务云原生化场景中资源管理能力的抽象和总结,我们期望通过 Katalyst 的开源直接或间接的帮助用户做好资源管理,实现降本增效。 当下互联网应用以天为单位,在线业务的资源使用情况往

2025-04-29

字节跳动近日宣布推出其全新的数据选择框架 QuaDMix,旨在提升大型语言模型(LLM)预训练的效率和泛化能力。众所周知,模型的训练效果受基础数据集的质量和多样性影响很大。然而,传统的数据筛选方法往往将质量和多样性

2023-03-10

3月7日,由字节跳动主办,英特尔、OCP-OSF(Open System Firmware)、OSFF(Open System Firmware Foundation) 社区联合举办的“云固件交流沙龙”在北京召开。会上,字节跳动正式发布了新一代云固件 Cloud Firmware 2.0,这是首次在 X86 服务器中产品化

2023-12-05

12月1日,由中国计算机学会(CCF)主办,CCF软件工程专委会、系统软件专委会、形式化方法专委会以及复旦大学承办的2023年CCF中国软件大会(CCF ChinaSoft 2023)在上海国际会议中心拉开帷幕。 本次大会以“智能化软件创新推动数字

2024-06-25

字节跳动正在与美国芯片设计公司博通公司(Broadcom)合作开发一款先进的人工智能处理器,此举将有助于TikTok的所有者在中美关系紧张之际确保高端芯片的充足供应。 消息人士补充说,5纳米芯片是一种定制产品,被称为特

2023-04-27

为 Primus 解决的问题。   日均作业百万核的字节跳动实践 经过字节跳动在不断实践中调整打磨的 Primus,拥有以下能力支撑业务需求: 自研训练框架:目前除了业界开源的 Tensorflow、Pytorch,为了满足用户的