研究：Meta Llama 3.1 能回忆《哈利波特》42% 的内容

今天凌晨，Meta 正式发布新一代开源大模型 Llama 3.1 系列，提供 8B、70B 及 405B  参数版本。 Llama 3 使用了超过 1.6 万个 H100 GPU、以及超过 15T token 的公开数据进行训练。 架构方面，该模型选择标准的仅解码器 transformer 模型架

常明显的改进。 Mistral Large 2 虽然是开放的，但只限于研究和非商业用途。它提供了开放的权重，允许第三方根据自己的需求对模型进行微调。这一协议是对用户使用条件的一个重要限制。对于需要自行部署 Mistral Large 2 的商

不会像封闭提供商那样削弱我们的收入、可持续性或投资研究的能力。（这是一些封闭提供商不断游说政府反对开源的原因之一。） 最后，Meta 拥有悠久的开源项目和成功历史。我们通过开放计算项目发布我们的服务器、网络

英伟达开源了 NVIDIA Llama Nemotron 中最大尺寸的推理模型 Llama-3.1-Nemotron-Ultra-253B-v1，可用于聊天机器人开发、AI Agent 工作流、检索增强生成（RAG）和代码生成等场景。 根据英伟达开放模型许可证及 Llama 3.1 社区许可协议，

的大语言模型 —— Llama 3。 Meta 的一位员工透露，由于研究人员尚未开始对模型进行微调，因此公司尚未决定Llama 3是否是多模态的。Meta员工还说，Llama 3最高可能拥有超过1400亿个参数，相比之下，去年7月发布的Llama 2的参数最

智能副总裁 Ahmad Al-Dahle 称，在过去两年里，Llama 从一个研究项目发展成了最广泛使用的开源人工智能模型。Llama 的下载量代表了对开源人工智能的信任，也体现了大家共同构建未来的信念。 为了进一步推动 Llama 的发展，Meta 计

支持的 OpenAI 和谷歌展开竞争。今年早些时候，Meta 面向研究人员和学者发布了自有大语言模型 LLaMA。其参数规模从 70 亿到 650 亿参数不等（包括 7B、13B、33B 和 65B 参数），该模型的一大优势是能运行在单张显卡上。 三位知情人

则分散至 Anthropic、Google DeepMind、Microsoft AI 等知名企业或研究机构。 根据 Business Insider 的报道，除人才严重流失外，Meta 还面临多重压力。内部方面，其最大 AI 模型 Behemoth 开发进度滞后，而最新发布的 Llama 4 模型在开发者社区

型而采取的步骤。” Meta 于 2 月份发布 LLaMA 供批准的研究人员下载，而没有选择集中和限制对底层数据、软件和模型的访问。对此 Meta 解释称，这一决定有助于推进 AI 研究，以提高其稳健性并减轻已知问题，例如偏见、毒性

支持同时处理文本、图像和视频，能够理解并生成跨媒体内容。例如，用户可以在同一交互中结合文字和图像。 官方的评估结果显示，Llama 3.2 视觉模型在图像识别和一系列视觉理解任务上与 Claude 3 Haiku 和 GPT4o-mini 的性能相当

亿个参数，这些参数设置编码了模型在训练过程中的学习内容。另外两个模型分别有 130 亿个参数和 70 亿个参数。而最近几个月，Meta 公司的领导认为 Llama 2 在回答有争议的问题时过于保守，因此该公司生成 AI 部门的员工一直在

wen 2.5 VL Mistral Small 3.1 以及更多视觉模型 其他更新内容包括： 修复 Windows 上运行模型出现的空白终端窗口 修复 NVIDIA GPU 运行 Llama 4 的错误 优化 ollama run 发送图片时去除引号 提升 ollama cre

的计算机视觉模型）和 FACET（一种基准数据集，旨在帮助研究人员审核计算机视觉模型的偏差）。 延伸阅读 Meta AI 多语言阅读理解数据集 Belebele，涵盖 122 种语言变体 Meta 开源基于 Llama 2 的 AI 代码生成大模型：Code Llama M

script (Javascript)、C# 和 Bash。 Code Llama 完全免费，可用于研究和商业用途，并已在 GitHub 发布：https://github.com/facebookresearch/codellama。 Code Llama 基于 Llama 2 大语言模型打造，提供了三种模型： Code Llama - 基础代码模型 Code Llama -