Meta Llama 团队多名顶尖研究成员已出走

来自 Meta，另外两款分别由微软和 EleutherAI 开发。 研究团队采用了 Books3这一流行的书籍数据库，作为训练这些大模型的素材，值得一提的是，这些书籍中许多依然受到版权保护。研究者们将36本书划分为多个重叠的100个标记段

更有优势。Llama 3正在由Meta旗下的独立基础人工智能研究团队（FAIR）以外的生成人工智能团队开发。 理论上，Llama 3将拥有更强大的语义理解能力，能够准确辨别一个单词在不同上下文中的多重含义。例如，Llama 3可能会理解英

型而采取的步骤。” Meta 于 2 月份发布 LLaMA 供批准的研究人员下载，而没有选择集中和限制对底层数据、软件和模型的访问。对此 Meta 解释称，这一决定有助于推进 AI 研究，以提高其稳健性并减轻已知问题，例如偏见、毒性

，可用于非商业用途。 为了确保数据质量，Vicuna 团队将 HTML 转换回 markdown 并过滤掉一些不合适或低质量的样本。以及将冗长的对话分成更小的部分，以适应模型的最大上下文长度。其训练方法建立在 Stanford Alpaca 

献排行榜排名第一。离开 Meta 也就意味着他要离开 React 团队，这对 React 来说无疑是个很重大的决定，也引发了大众对 React 这个前端主流框架未来发展的担忧。值得一提的是，今年 4 月曾有多名 React 团队成员表示，受 Meta 裁

初夏发布该模型，目标是打造一个在开源推理模型中达到顶尖水平的产品。这款模型定位为推理能力模型，类似于OpenAI现有的o系列产品。 知情人士称，OpenAI正考虑为该模型采用一种高度宽松的开源许可协议，几乎不设使用或商

发。该项目汇集了 70 多个国家/地区、250 多个机构、1000 多名研究人员参与开发。 语言模型的开发成本历来很高，以现在知名度很高的 GPT-3 为例，其成本高达 2760 万美元。这也是这类模型通常被牢牢掌握在微软、Meta、Google 和 O

智能副总裁 Ahmad Al-Dahle 称，在过去两年里，Llama 从一个研究项目发展成了最广泛使用的开源人工智能模型。Llama 的下载量代表了对开源人工智能的信任，也体现了大家共同构建未来的信念。 为了进一步推动 Llama 的发展，Meta 计

支持的 OpenAI 和谷歌展开竞争。今年早些时候，Meta 面向研究人员和学者发布了自有大语言模型 LLaMA。其参数规模从 70 亿到 650 亿参数不等（包括 7B、13B、33B 和 65B 参数），该模型的一大优势是能运行在单张显卡上。 三位知情人

script (Javascript)、C# 和 Bash。 Code Llama 完全免费，可用于研究和商业用途，并已在 GitHub 发布：https://github.com/facebookresearch/codellama。 Code Llama 基于 Llama 2 大语言模型打造，提供了三种模型： Code Llama - 基础代码模型 Code Llama -

实验室挖角顶尖 AI 研究人员，以充实 Meta 新的超级智能团队。据报道，为了在由 Scale AI 前首席执行官 Alexandr Wang 领导的团队中工作，并在扎克伯格附近办公，Meta 向 OpenAI 和谷歌 DeepMind 的员工提供了高达 1 亿美元的薪酬待遇。

的计算机视觉模型）和 FACET（一种基准数据集，旨在帮助研究人员审核计算机视觉模型的偏差）。 但其模型性能一直在 ChatGPT 等产品之下，Meta 的新人工智能大模型能否赶上 OpenAI 还有待观察。因为它们的能力取决于训

AI 模型。该计划为符合条件的初创公司提供来自 Meta Llama 团队的“直接支持”，以及在某些情况下的资金支持。 据介绍，任何在美国注册成立、融资总额低于 1,000 万美元、至少拥有一名开发人员，并且正在构建生成式 AI 应用

的 AI 助手，无需依赖数据中心这样的大规模设施。 项目成员 Guillaume Lample 表示： 与 Chinchilla、PaLM 或 GPT-3 不同，我们只使用公开的数据集，使我们的工作与开源兼容并可重现，而大多数现有模型依赖的数据要么不公开，要