Mistral AI 发布 1230 亿参数 Large 2 大模型 —— 狙击 Llama 3.1


继 Meta 昨天发布最强开源大模型 Llama 3.1 后,法国 AI 初创公司 Mistral AI 也加入了竞争,今天发布了全新的旗舰开源模型 Mistral Large 2。

该模型拥有 1230 亿个参数,可在单个 H100 节点上以高吞吐量运行,在代码生成、数学、推理等方面与 OpenAI 和 Meta 的最新尖端模型不相上下,并提供更强大的多语言支持和高级函数调用功能。

Mistral 公司表示,训练的重点之一是尽量减少模型的幻觉问题。该公司称,Large 2 接受的训练让它的反应更具辨别力,当它不知道某些事情时,它会承认自己不知道,而不是编造一些看似合理的事情。

它支持法语、德语、西班牙语、意大利语、葡萄牙语、阿拉伯语、印地语、俄语、汉语、日语和韩语。在编码方面,它支持 80 多种编码语言,包括 Python、Java、C、C++、JavaScript 和 Bash。

Mistral Large 2 拥有 128k 的上下文窗口,支持包括中文在内的数十种语言以及 80 多种编码语言。该模型在 MMLU 上的准确度达到了 84.0%,并在代码生成、推理和多语言支持方面有非常明显的改进。

Mistral Large 2 虽然是开放的,但只限于研究和非商业用途。它提供了开放的权重,允许第三方根据自己的需求对模型进行微调。这一协议是对用户使用条件的一个重要限制。对于需要自行部署 Mistral Large 2 的商业用途,必须提前获取 Mistral AI 商业许可证。


相關推薦

2023-09-30

法国人工智能初创公司 Mistral AI 宣布推出其首款大语言模型 Mistral 7B 是一个,号称是迄今为止同规模产品中最强大的语言模型;在 Apache-2.0 许可下开源,可完全免费使用,不受任何限制。 Mistral AI 是一个成立仅六个月的初创

2025-04-11

系列基准测试中,Llama-3.1-Nemotron-Ultra-253B-v1 优于 Meta 最新发布的 Llama 4 Behemoth 和 Llama 4 Maverick。

2024-07-25

今天凌晨,Meta 正式发布新一代开源大模型 Llama 3.1 系列,提供 8B、70B 及 405B  参数版本。 Llama 3 使用了超过 1.6 万个 H100 GPU、以及超过 15T token 的公开数据进行训练。 架构方面,该模型选择标准的仅解码器 transformer 模型架

2025-03-20

Mistral AI 现已开源发布全新轻量级 AI 模型 Mistral Small 3.1。Mistral Small 3.1 能够处理文本和图像,参数仅为 240 亿。该模型提高了文本能力和多模态理解能力,并具备 128K 上下文窗口。 核心特性 轻量级部署:可在 单个 RTX 4090

2025-06-11

根据CNBC的报道,法国AI初创公司Mistral将推出其首个推理模型Magistral,加入与OpenAI、DeepSeek等全球领先企业的竞争。 Mistral首席执行官亚瑟・门施介绍道,Magistral不仅擅长数学和编码,还能够实现欧洲语言的逻辑推理,突破了美

2025-05-09

法国 AI 初创公司 Mistral 发布了新的 AI 模型 Mistral Medium 3,该模型注重效率,同时不影响性能。据介绍,在各项基准测试中,该模型性能达到或超过 Claude Sonnet 3.7 的 90%,而成本显著更低(每百万 token 输入 0.4 美元/输出 2 美元)

2023-02-28

A 的一个精简版可在 GitHub 上找到,Meta 暂时还没有要公开发布完整模型和权重的计划。Meta 提供了一个登记页面,感兴趣的开发者可以申请登记,从而获得完整的代码和权重。

2025-05-17

bP 图像作为输入。 Meta Llama 4 Google Gemma 3 Qwen 2.5 VL Mistral Small 3.1 以及更多视觉模型 其他更新内容包括: 修复 Windows 上运行模型出现的空白终端窗口 修复 NVIDIA GPU 运行 Llama 4 的错误 优化 ollama

2025-06-06

英伟达发布了一款名为 Llama-3.1-Nemotron-Nano-VL-8B-V1 的视觉语言模型(VLM)。该模型拥有80亿参数,专注于文档智能,能够查询和总结来自物理世界或虚拟世界的图像和视频内容。该模型基于 Llama 3.1 构建。 据介绍,该模型的开发

2024-08-01

要。 从国家到全球焦点:美国以外的法学硕士,例如 Mistral 的 Mistral-large 和阿里巴巴的 qwen2- 72b -instruct,是该领域的新兴参与者,并且越来越受欢迎,代表了全球创建有效语言模型的努力。 改进空间:虽然 Google 的开

2024-07-18

法国人工智能初创公司 Mistral 以其强大的开源人工智能模型而闻名。今天,该公司在其不断壮大的大型语言模型 (LLM) 家族中推出了两个新产品:一个是基于数学的模型,另一个是面向程序员和开发人员的代码生成模型,

2025-04-23

微软近日发布了20亿参数的1-bit模型——BitNet b1.58 LLM家族,称此新型模型比主流Transformer LLM更不占内存且更低能耗,适合在CPU或较小型硬件平台上执行。 Hugging Face 地址:https://huggingface.co/microsoft/bitnet-b1.58-2B-4T 微软研究院与

2024-03-19

size)为4096或4608。而几乎所有已知的开源大模型如Llama和Mistral,嵌入向量维度4096的时候都是约7B参数规模。其它比例的话,就会造成网络过宽或过窄,已被证明对模型性能不利。 因此南加大团队指出,可以推测gpt-3.5-turbo的参

2023-06-10

LLaMA 论文的 RedPajama 基础数据集(5 TB 大小),自 4 月份发布至今已被下载数千次,并被用来训练了 100 多个模型;以及一个在 5 月份就宣布训练完成的 RedPajama 3B,和刚宣布训练完成的 RedPajama 7B 大模型。 RedPajama-INCITE-7B-Base