Not just OpenAI's "Orion"! Google's and Anthropic AI's model development has also been reported to encounter bottlenecks

本文作者：李丹

来源：硬 AI

不止是 OpenAI 备受关注的下一代模型 “猎户座”（Orion），谷歌和 OpenAI 的劲敌、另一明星人工智能（AI）初创 Anthropic 也传出了先进 AI 模型开发遭遇瓶颈的消息。

美东时间 11 月 13 日周三，彭博社报道援引两名知情者的消息称，OpenAI 今年 9 月完成了猎户座的首轮训练，希望它能大大超越此前的一些版本，更接近 AI 超越人类这一目标，但猎户座未能达到公司期望的性能，比如截至夏末，该模型在尝试回答未经训练的编码问题时还表现不佳。

知情者评价，总体而言，到目前为止，相比 GPT-4 超越 GPT-3.5 的表现，猎户座和 OpenAI 现有模型相比进步没那么大。

报道还援引其他三名知情者消息的称，谷歌即将推出的新版 Gemini 并未达到内部预期，Anthropic 也推迟了被称为的 3.5 Opus 的 Claude 模型计划发布时间。

报道认为上述三家公司开发 AI 模型面临多重挑战，他们越来越难以找到尚未开发的高质量人造训练数据。例如猎户座的编码性能未能令人满意就部分源于缺乏足够的编码数据进行训练。即使是适度的模型性能提升也可能不足以证明，打造和运行新模型的巨大成本合理，或者无法满足重大升级的期望。

AI 模型开发瓶颈的问题挑战了被很多初创甚至科技巨头都奉为圭臬的定律 Scaling law，也让 AI 大举投资即实现通用人工智能（AGI）的可行性遭到质疑。

华尔街见闻曾提到，OpenAI 早在 2020 年就提出的该定律是指，大模型的最终性能主要与计算量、模型参数量和训练数据量三者的大小相关，而与模型的具体结构（层数/深度/宽度）基本无关。今年 7 月微软的首席技术官（CTO）Kevin Scott 还为这个定律辩护，称 Scaling law 仍适用于当前业态——在扩张大模型的同时，边际效益并没有递减。

巧的是，上周就有媒体爆料，OpenAI 发现猎户座 “没有那么大飞跃”，进步幅度远不如前两代旗舰模型。这一发现直接挑战了 AI 领域一直奉行的 Scaling law。由于高质量训练数据减少以及计算成本增加，OpenAI 的研究人员不得不开始探讨是否有其他改进模型性能的方法。

例如，OpenAI 正在将更多代码编写功能嵌入其模型，并试图开发一种软件，可以接管个人电脑，通过执行点击、 光标移动等其他操作， 完成网络浏览器活动或应用程序的任务。

OpenAI 还成立了一个专门团队，由之前负责预训练的 Nick Ryder 领导，负责探索如何优化有限的训练数据和调整扩展法的应用，保持模型改进的稳定性。

对于本周三的彭博报道，谷歌 DeepMind 发言人表示，公司 “对 Gemini 的进展感到满意，我们会在准备就位时分享更多信息。” OpenAI 拒绝置评。Anthropic 也未置评，但提到了周一发布的一段博客内容，在那段长达五小时的播客中，有 Anthropic CEO Dario Amodei 的发言。

Amodel 称，人们所说的 scaling law 并不是一种定律，这是用词不当，它不是通用的定律，而是经验规律。Amodel 预计 scaling law 会继续存在，不过并不确定。他说未来几年有 “很多事” 可能会 “破坏” 实现更强大 AI 的进程，包括 “我们可能会耗尽数据。” 但他乐观地认为 AI 公司会找到克服一切阻碍的方法。

对于彭博的报道，提供企业定制 AI 解决方案的公司 NossonAI 的创始人 Nosson Weissman 评论称，报道并未让他困惑，因为首先，他没有看到在 AI 领域做出过重大贡献的真正的专家表达过同样看法，其次，我们经常看到模型方面取得重大进展，最后，他认为新闻媒体喜欢制造戏剧效果，这篇报道看来只是起了一个漂亮的戏剧性标题。