1800 亿参数，世界顶级开源大模型 Falcon 官宣！碾压 LLaMA 2，性能直逼 GPT-4

一经发布，地表最强开源模型 Falcon 180B 直接霸榜 HF。3.5 万亿 token 训练，性能直接碾压 Llama2。

一夜之间，世界最强开源大模型 Falcon 180B 引爆全网！

1800 亿参数，Falcon 在 3.5 万亿 token 完成训练，直接登顶 Hugging Face 排行榜。

基准测试中，Falcon 180B 在推理、编码、熟练度和知识测试各种任务中，一举击败 Llama 2。

甚至，Falcon 180B 能够与谷歌 PaLM 2 不差上下，性能直逼 GPT-4。

不过，英伟达高级科学家 Jim Fan 对此表示质疑，

- Falcon-180B 的训练数据中，代码只占 5%。

而代码是迄今为止对提高推理能力、掌握工具使用和增强 AI 智能体最有用的数据。事实上，GPT-3.5 是在 Codex 的基础上进行微调的。

- 没有编码基准数据。

没有代码能力，就不能声称「优于 GPT-3.5」或「接近 GPT-4」。它本应是预训练配方中不可或缺的一部分，而不是事后的微调。

- 对于参数大于 30B 的语言模型，是时候采用混合专家系统（MoE）了。到目前为止，我们只看到 OSS MoE LLM < 10B。

一起来看看，Falcon 180B 究竟是什么来头？

世界最强开源大模型

此前，Falcon 已经推出了三种模型大小，分别是 1.3B、7.5B、40B。

官方介绍，Falcon 180B 是 40B 的升级版本，由阿布扎比的全球领先技术研究中心 TII 推出，可免费商用。

这次，研究人员在基底模型上技术上进行了创新，比如利用 Multi-Query Attention 等来提高模型的可扩展性。

对于训练过程，Falcon 180B 基于亚马逊云机器学习平台 Amazon SageMaker，在多达 4096 个 GPU 上完成了对 3.5 万亿 token 的训练。

总 GPU 计算时，大约 7,000,000 个。

Falcon 180B 的参数规模是 Llama 2（70B）的 2.5 倍，而训练所需的计算量是 Llama 2 的 4 倍。

具体训练数据中，Falcon 180B 主要是 RefinedWe 数据集（大约占 85%）。

此外，它还在对话、技术论文，以及一小部分代码等经过整理的混合数据的基础上进行了训练。

这个预训练数据集足够大，即使是 3.5 万亿个 token 也只占不到一个 epoch。

官方自称，Falcon 180B 是当前「最好」的开源大模型，具体表现如下：

在 MMLU 基准上，Falcon 180B 的性能超过了 Llama 2 70B 和 GPT-3.5。

在 HellaSwag、LAMBADA、WebQuestions、Winogrande、PIQA、ARC、BoolQ、CB、COPA、RTE、WiC、WSC 及 ReCoRD 上，与谷歌的 PaLM 2-Large 不相上下。

另外，它在 Hugging Face 开源大模型榜单上，是当前评分最高（68.74 分）的开放式大模型，超越了 LlaMA 2（67.35）。

Falcon 180B 上手可用

与此同时，研究人员还发布了聊天对话模型 Falcon-180B-Chat。该模型在对话和指令数据集上进行了微调，数据集涵盖了 Open-Platypus、UltraChat 和 Airoboros。

现在，每个人都可以进行 demo 体验。

地址：https://huggingface.co/tiiuae/falcon-180B-chat

Prompt 格式

基础模型没有 Prompt 格式，因为它并不是一个对话型大模型，也不是通过指令进行的训练，所以它并不会以对话形式回应。

预训练模型是微调的绝佳平台，但或许你不该直接使用。其对话模型则设有一个简单的对话模式。

System: Add an optional system prompt hereUser: This is the user inputFalcon: This is what the model generatesUser: This might be a second turn inputFalcon: and so on

Transformers

从 Transfomers 4.33 开始，Falcon 180B 可以在 Hugging Face 生态中使用和下载。

确保已经登录 Hugging Face 账号，并安装了最新版本的 transformers:

pip install--upgrade transformershuggingface-cli login

bfloat16

以下是如何在 bfloat16 中使用基础模型的方法。Falcon 180B 是一个大模型，所以请注意它的硬件要求。

对此，硬件要求如下：

可以看出，若想对 Falcon 180B 进行全面微调，至少需要 8X8X A100 80G，如果仅是推理的话，也得需要 8XA100 80G 的 GPU。

from transformers import AutoTokenizer, AutoModelForCausalLMimport transformersimport torchmodel_id = "tiiuae/falcon-180B"tokenizer = AutoTokenizer.from_pretrained(model_id)model = AutoModelForCausalLM.from_pretrained(    model_id,    torch_dtype=torch.bfloat16,    device_map="auto",)prompt = "My name is Pedro, I live in"inputs = tokenizer(prompt, return_tensors="pt").to("cuda")output = model.generate(    input_ids=inputs["input_ids"],    attention_mask=inputs["attention_mask"],    do_sample=True,    temperature=0.6,    top_p=0.9,    max_new_tokens=50,)output = output[0].to("cpu")print(tokenizer.decode(output)

可能会产生如下输出结果：

My name is Pedro, I live in Portugal and I am 25 years old. I am a graphic designer, but I am also passionate about photography and video.IlovetotravelandIamalwayslookingfornewadventures.Ilovetomeetnewpeopleandexplorenewplaces.

使用 8 位和 4 位的 bitsandbytes

此外，Falcon 180B 的 8 位和 4 位量化版本在评估方面与 bfloat16 几乎没有差别！

这对推理来说是个好消息，因为用户可以放心地使用量化版本来降低硬件要求。

注意，在 8 位版本进行推理要比 4 位版本快得多。要使用量化，你需要安装「bitsandbytes」库，并在加载模型时启用相应的标志：

model = AutoModelForCausalLM.from_pretrained(    model_id,    torch_dtype=torch.bfloat16,    **load_in_8bit=True,**    device_map="auto",)

对话模型

如上所述，为跟踪对话而微调的模型版本，使用了非常直接的训练模板。我们必须遵循同样的模式才能运行聊天式推理。

作为参考，你可以看看聊天演示中的 [format_prompt] 函数：

def format_prompt(message, history, system_prompt):    prompt = ""    if system_prompt:        prompt += f"System: {system_prompt}\n"    for user_prompt, bot_response in history:        prompt += f"User: {user_prompt}\n"        prompt += f"Falcon: {bot_response}\n"        prompt += f"User: {message}\nFalcon:"    return prompt

从上可见，用户的交互和模型的回应前面都有 User: 和 Falcon: 分隔符。我们将它们连接在一起，形成一个包含整个对话历史的提示。这样，就可以提供一个系统提示来调整生成风格。