解码 AI| 开启大模型 “安卓” 时刻，Meta 刚刚干了一件大事

OpenAI 的对手越追越紧了。

美国当地时间 4 月 18 日，Meta 发布了 Llama 3 开源大模型，包括 Llama 3 8B 和 Llama 3 70B。Meta 同时透露，目前其最大参数模型已超 400B（4000 亿）参数，但还在训练。据 Meta 称，Llama 3 是迄今为止功能最强的开源 LLM（大语言模型）。在多项基准测试中，Llama 3 70B 超过同行。

随着 Llama 3 发布，开源阵营呈现壮大之势。对于 Llama 3 的发布，大模型生态社区 OpenCSG 创始人陈冉向记者表示，竞争会越来越激烈，好现象是大家处于良性竞争。不过未来参数越大，消耗越大，“竞争其实就是钱的竞争”。

Llama 3 登场

据 Meta 介绍，Llama 3 8B 和 70B 的推理、代码生成和指令跟踪等功能有大幅改进。Meta 使用了超 15T tokens（文本单位）的数据训练，训练数据集比 Llama 2 大 7 倍，包含的代码多 4 倍。在开发中，Meta 开发了一套新的高质量人类评估集，包含 1800 个提示并涵盖 12 个关键用例，如征求建议、头脑风暴、分类、编码等。该评估集的结果显示，Llama 3 70B 的表现比 Claude Sonnet、Mistral Medium、GPT-3.5、Llama 2 更好。

Meta 还公布了两个新开源模型与竞争对手比较的情况。在 MMLU、GPQA 等多项五项基准上，指令微调的 Llama 3 8B 得分都超过谷歌 Gemma 7B-1t 和法国初创公司 Mistral AI 的 Mistral 7B Instruct，Llama 3 70B 则在三项基准中超过谷歌 Gemini Pro 1.5 和 Anthropic 的 Claude 3 Sonnet。

不过，Llama 3 并非完美，其中被指摘最多的是其上下文窗口只有 8k，落后于现在业内平均水平。Meta 首席人工智能科学家、图灵奖得主杨立昆（Yann LeCun）在社交媒体发帖同步 Llama 3 发布的喜讯，而评论区有不少人都在讨论上下文窗口长度只有 8k 的信息，“这很令人惊讶，确实限制了实用性”，有热门评论说道。有人质疑为什么 Llama 3 的上下文窗口与同等模型相比这么小，是架构的限制，还是在训练期间决定优先考虑模型的其他方面，这并未得到杨立昆答复。

外界对 Llama 2 上下文窗口的关注，背景之一是近两年大模型上下文窗口的文本长度限制已提升明显。更长的上下文这意味着大模型能处理更大范围的文本，更好理解长篇文章或对话，使其在各种应用中更加有用。GPT-3.5 上下文窗口文本长度限制为 4k，GPT-4 提升到 32k，GPT-4 turbo 版能接收 128k 输入，基本相当于 10 万字的小说长度。在国内，零一万物 Yi-34B、上海人工智能实验室与商汤科技联合发布的书⽣·浦语 2.0 等都支持 200k 长语境输入，月之暗面 kimi 更支持 200 万字上下文输入，阿里通义千问免费开放了 1000 万字长文档处理功能。

对于长上下文窗口的限制，Meta 并未直接回应，但在其官方博客里提到，在接下来的几个月里预计将引入新功能、更长的上下文窗口。

对于后续计划，Meta 还透露， Llama 3 系列还会有更多产品推出，其最大模型超 400B 参数，该模型还在训练中。

目前，Meta 还未透露 Llama 3 超 4000 亿参数版本是否会开源。如果该模型开源，将会超过目前参数量最大的开源模型昆仑万维天工 3.0（4000 亿参数）和马斯克旗下初创公司 xAI 的 Grok-1（3140 亿参数）。

业界对 Llama 3 发布颇为关注。AI 写作助手公司 HyperWrite AI CEO Matt Shumer 感叹 “我们正在进入一个新世界，GPT-4 级别的模型开源而且可以免费访问”。传奇研究员、AI 开源倡导者吴恩达表示，Llama 3 发布是自己收到过最好的生日礼物。马斯克也在一条评论 Llama 3 表现出色的帖文下回复 “Not bad（不错）”。

阿里云首席智能科学家丁险峰在社交软件上表示，开源的 Llama 3 有如安卓，一夜之间打掉所有闭源手机操作系统：PalmOS、Windows mobile、symbian，伟大的时代要来临了。

英伟达科学家 Jim Fan 则在社交媒体上表示，即将推出的 Llama 3 400+B 将意味着开源社区获得 GPT-4 级别的模型开放权重访问，这将是一个分水岭时刻，将改变许多研究工作和初创公司的发展方式。

Jim Fan 提取了 Anthropic Claude 3 Opus、Open AI GPT-4 Turbo、谷歌 Gemini Ultra 1.0 和 Gemini Pro 1.5 的多项基准得分并与 Llama 3 400+B 早期 Checkpoint（检查点）的得分相比，发现 Llama 3 400+B 多项得分高于 Gemini Ultra 1.0 和 Gemini Pro 1.5，低于但已接近 GPT-4 和 Claude 3 Opus。

猎豹移动董事长兼 CEO 傅盛则表示，Llama 3 性能远超上一代，小参数模型 Llama 3 8B 的表现比上一代大参数 Llama 2 70 B 更好，这印证了小参数模型的能力会快速提升，可达到相当高使用水准的说法。Llama 2 70B 性能比上一代则有质的提高。预期 Llama 3 应该代表了开源社区非常高的水准。

也有业界人士使用了 Llama 3 8B 后表示，原本工具使用稳定性费劲的本地多智能体变得稳定了不少。陈冉则告诉记者，当前国内的开源模型与 Llama 3 相比或许相差还不小。

OpenAI 的对手紧追

OpenAI 今年 2 月发布 Sora，成功 “狙击” 谷歌彼时刚发布的 Gemini 1.5 并引来更多关注后，似乎难以再压低竞争对手的热度了。OpenAI 还未拿出更大 “杀器” 的情况下，竞争对手的产品升级则是肉眼可见。

有 OpenAI 最强竞争对手之称的 Anthropic 今年 3 月发布了最新大模型系列 Claude 3，其中 Claude 3 Opus 在本科级别专业知识（MMLU）、研究生级别专家推理（G[QA）、基础数学（GSM8K）等领域都超过 GPT-4。

Anthropic 之外，闭源阵营的 OpenAI 其他竞争对手则在上探参数量。传言 GPT-4 参数量上万亿，今年 3 月，腾讯透露其混元大模型也已达万亿参数规模，近日 MiniMax 也宣布推出 abab 6.5，包含万亿参数。

谷歌、Meta、xAI 所属的开源或开闭源双轨并行的阵营也在步步紧逼，参数量越来越大。马斯克指责 OpenAI 不开源并陷入双方论战后，自己拿出 Grok-1。国内也引发一轮开源潮，包括 4 月初大模型初创企业新旦智能与 APUS 联手开发的 APUS-xDAN 大模型 4.0（1360 亿）参数，以及昆仑万维近日开源的 4000 亿参数天工 3.0。

此次 Meta 开源的 8B 和 70B 参数模型还是小试牛刀，后续或开源的 4000 亿以上参数大模型，可能是开源阵营的更大 “杀器”。

关于开闭源之争近日趋于激烈，也隐隐显露出包括 OpenAI 在内的闭源阵营，受到开源阵营的一定冲击。相关代表性言论包括百度董事长李彦宏近日所称 “大模型开源意义不是很大，有商业模式的闭源模型才能聚集人力和财力”。

支持大模型开源的业界人士则在反击李彦宏的观点。4 月 18 日的生成式 AI 大会上，vivo AI 解决方案中心总监谢伟钦表示，作为产品经理，希望开源社区能逐渐繁荣，出现不同维度的好算法，vivo 开源了参数量 7B 的模型，未来可能还有更大参数的模型开源。

硅基智能 CTO 林会杰在该会上则表示，开源一定会比闭源好，搜索引擎目前只运行在开源软件上，开源产品的开发效率好，这是无数开发者已验证过的事。同时，开源软件面向更广泛人群，代码质量被更多人看在眼里，不敢开源反而是对自身模型能力不自信的一种表现，很多闭源模型也是建立在开源模型之上。

傅盛也表示：“国内某大厂认为闭源大模型与开源社区的距离越来越远，现实情况正好相反，开源社区公司越来越猛烈。怼算力、怼芯片、只注重参数这条路未必走得通，而且 AI 不应该是大公司和巨头之间的游戏，应该是所有人都能参与的。我们相信，开源社区必将越战越勇，最终打败闭源大模型。“

闭源和开源阵营竞争对手步步紧逼的情况下，OpenAI 的压力很可能变得越来越大。新浪微博新技术研发负责人张俊林认为，大模型巨头混战形成了打压链，OpenAI 处于链条顶端，打压有潜力追上的对手，第一层对手包括谷歌、Anthropic 和 Mistral，第二层是 Meta，OpenAI 有一个技术储备库，专等竞争对手发布新产品时推出。不过，竞争对手正试图改变被 OpenAI 打压的情况，此前 Anthropic 推出 Claude 3 便可能打乱 OpenAI 的产品节奏。

张俊林向第一财经记者表示，OpenAI 最新推出的是一个音频模型 Voice Engine，该模型还在小规模测试阶段，这可能说明 OpenAI 手里已没太多新东西了，竞争对手已对 OpenAI 造成比较大压力。

竞争压力下，OpenAI 或已经在加快下一代 GPT 产品研发。3 月 Claude 3 系列发布不久，有网友就发现搜索引擎一度能搜到 GPT-4.5 Turbo 产品页面，页面摘要显示该模型将在 “速度、准确性和可扩展性方面全面超越 GPT-4.0 Turbo”，相关页面很快下架。OpenAI 如何应对这些竞争，将是下一步看点。