Meta Platforms is planning to release Llama 3 in July, with capabilities close to GPT-4, with up to 1.4 trillion parameters.

当地时间周三，科技媒体 The Information 援引知情人士报道，Meta 计划在今年 7 月份发布 Llama 3 大模型。

Llama 3 肩负的使命巨大。

报道称，Meta 希望 Llama 3 能够比肩 OpenAI 的 GPT-4，后者已经成为一个强大的多模态模型，不仅能够处理更长的文本，还支持图像输入。

但 Meta 的一位员工透露，由于研究人员尚未开始对模型进行微调，因此公司尚未决定 Llama 3 是否是多模态的。微调是开发人员为现有模型提供额外数据的过程，以便大模型学习新信息或处理任务。

Meta 员工还说，Llama 3 最高可能拥有超过 1400 亿个参数，相比之下，去年 7 月发布的 Llama 2 的参数最高为 700 亿。

据此前报道称，GPT-4 模型参数规模约为 1.8 万亿，Llama 3 不到这一数字的十分之一。

另外，在推出 Llama 3 之前，Meta 还在尝试克服 Llama 2 中发现的一个问题——无法处理任何有争议的问题。

由于开发人员在 Llama 2 中增加了安全护栏，它会拒绝回答一系列被认为有争议的问题。

据 Meta 员工称，这些护栏使得 Llama 2 在公司高层领导以及模型研究人员眼中显得 “过于安全”，研究人员计划放松 Llama 3 在这一方面的限制，以便它更多地与用户互动，提供背景信息，而不仅仅是拒绝回答。

人们对 Llama 3 的期待与日俱增，但 Meta 仍面临着旷日持久的人才竞争。

两名知情人士称，负责 Llama 2 和 Llama 3 安全工作的研究员 Louis Martin 已于本月离开公司。其中一位知情人士称，强化学习负责人 Kevin Stone 也在本月离职。