开源模型逆袭:Databricks TAO 技术微调 Llama 超越 GPT-4o


数据智能公司 Databricks 近日推出了一种全新的大语言模型微调方法 ——TAO(Test-time Adaptive Optimization)。通过运用无标注数据和强化学习,TAO 不仅在降低企业成本方面表现出色,更是在一系列基准测试中取得了令人瞩目的成绩。

根据科技媒体 NeoWin 的报道,TAO 微调后的 Llama3.370B 模型在金融文档问答和 SQL 生成等任务中,展现出了优于传统标注微调方法的性能,甚至逼近了 OpenAI 的顶级闭源模型。这一成果标志着开源模型在与商用 AI 产品竞争中的又一次重大突破。

TAO 方法的核心在于其独特的 “测试时计算” 理念,能够自动探索任务的多样性,同时结合强化学习来优化模型,从而避免了传统微调所需的人工标注成本。在多项企业基准测试中,TAO 微调的 Llama 模型成绩斐然:

  • 在 FinanceBench 基准测试中,该模型在7200道 SEC 文档问答中取得了85.1的高分,超过了传统标注微调(81.1)和 OpenAI 的 o3-mini(82.2)的成绩。
  • 在 BIRD-SQL 测试中,TAO 微调的 Llama 模型得分为56.1,接近 GPT-4o 的58.1,远超传统标注微调(54.9)。
  • 在 DB Enterprise Arena 中,TAO 模型得分为47.2,虽然略低于 GPT-4o 的53.8,但仍然显示了强劲的竞争力。

 


相關推薦

2024-08-10

阿里通义团队开源新一代数学模型Qwen2-Math,包含1.5B、7B、72B三个参数的基础模型和指令微调模型。 Qwen2-Math基于通义千问开源大语言模型Qwen2研发,旗舰模型 Qwen2-Math-72B-Instruct在权威测评集MATH上的得分超越GPT-4o、Claude-3.5-Sonnet、

2024-07-26

在 Meta 推出开源 Llama 3.1 模型之后不久,OpenAI 宣布对其 GPT-4o Mini 模型提供免费微调,允许用户免费使用额外数据训练模型,以便在特定用例中获得更高的性能。 GPT-4o mini 微调适用于 OpenAI 的 Tier 4 和 5 使用层级的开发人员,这

2024-07-11

,OpenAI的GPT-4o以81分高居榜首,Claude-3.5-Sonnet与通义千问开源模型Qwen2-72B-Instruct并列第二,得分均为77。 通义千问(Qwen2-72B)既是排名最高的中国大模型,也是全球最强的开源大模型,性能超越文心一言4.0、讯飞星火V4.0、Llama-3-70B

2025-04-03

frames-benchmark 上超过了 GPT-4o 的 Search 功能,成为最强的开源 AI 搜索框架。 这个框架结合语义搜索,并提供了快速和深度搜索两种模式,允许多跳搜索(即不断检索以得到理想答案),并且专门为 AI Agent 优化。  OpenDeepSear

2025-05-24

分引起了广泛关注。 TransBench 的评测方法和数据集现已开源,鼓励各大 AI 翻译机构参与,进行横向比较和性能评估。 阿里国际 AI Business 团队表示,随着翻译技术的不断进步,行业对翻译模型的要求愈加严格,TransBench 正是响

2025-04-16

GPT-4.1 mini和超轻量的GPT-4.1 nano。 OpenAI 发布 GPT-4.1 系列模型 这次更新的焦点并非面向大众用户,仅通过API接口提供服务,OpenAI官方文档直言不讳地指出,这批新模型在各项能力上全面超越了此前的GPT-4o和GPT-4o mini,在编码能

2025-06-11

。这包括我们从出版商处获得许可的数据、从公开可用或开源数据集精心整理的数据,以及由我们的网络爬虫Applebot爬取的公开信息。我们在训练基础模型时不会使用用户的私人个人数据或用户交互数据。此外,我们采取措施应

2025-05-14

苹果公司联合复旦大学,推出 StreamBridge 端侧视频大语言模型(Video-LLMs)框架,助力 AI 理解直播流视频。该框架通过内存缓冲区和轮次衰减压缩策略,支持长上下文交互。 该框架还引入了一个轻量化的独立激活模型,无缝集

2025-04-30

研究发现的 LLM“谄媚倾向”(Sycophancy)高度吻合 —— 模型为获得用户认可,可能违背事实或伦理准则。从用户实测反馈看,该问题具体表现为:过度使用情感化表达、对错误前提缺乏质疑、以及为迎合用户偏好而牺牲回答准

2023-10-10

,贾佳亚团队联合MIT发布的新技术和新模型悄然登上各大开源网站的热榜:hugging face热榜第一、paperwithcode热度第一,Github全部python项目热度第五、github stars一周内破千,Twitter上的相关技术帖子浏览量近18万...... github stars已达1

2025-04-29

本月初,OpenAI 发布了多个新的 AI 模型。面向开发者的 GPT-4.1 模型引入了对 100 万个 Token 上下文窗口的支持,并在指令遵循、编码和智能方面进行了改进。o3 和 o4-mini推理模型在多个 AI 基准测试中取得了最佳结果。 即使在发布

2025-05-23

年初,腾讯混元 TurboS “快思考模型”正式发布,作为业界首款大规模混合 Mamba-MoE 模型,其在效果与性能上展现了出显著优势。这一突破得益于预训练阶段的 tokens 增训,以及后训练阶段引入长短思维链融合技术。 近日,腾

2023-09-12

正在寻求在生成式 AI 领域与 OpenAI 展开竞争,将发布新的开源大模型,其性能或将与GPT-4 不相上下。 报道称,这款新模型比 Llama 2 强大数倍,将提供文本、图像生成以及分析等功能。目前该模型正处于开发之中,最终功能尚

2025-06-11

根据CNBC的报道,法国AI初创公司Mistral将推出其首个推理模型Magistral,加入与OpenAI、DeepSeek等全球领先企业的竞争。 Mistral首席执行官亚瑟・门施介绍道,Magistral不仅擅长数学和编码,还能够实现欧洲语言的逻辑推理,突破了美