爆点来了：用 LLM 成功设计芯片

用 ChatGPT 聊个天或通过 Midjouney 画张图，其高度的智能性，让全球大叫 “哇塞”。但是，GPT 的基础设施 LLM，更性感的能力，竟已能在高精尖领域——芯片设计，达成新成果。

这是堪称逆天的 AGI 能力。 

最近，纽约大学 Tandon 工程学院的研究人员，通过 GPT-4 设计并流片了一颗芯片。 

通过据称是比较简单的英语对话，CPT-4 生成了可行的 Verilog（硬件描述语言）。接着，这些技术人员就将基准测试和处理器发送到 Skywater 130 nm 穿梭机上，实现了成功流片（Tapeout）。 

在芯片设计和制造领域，130nm 工艺制程，连一小步进展都算不上，但这却是 AI 技术史上货真价实的一大步。 

用 LLM 设计芯片？ 

从 GPT 的英文全称 “Generative Pre-trained Transformer” 可以看到，这是个生成式预训练模型。 

OpenAI 首席科学家、ChatGPT 背后的技术大佬伊利亚·苏茨克维（Ilya Sutskever）说，GPT（生成式预训练模型）学习的是 “世界模型”。Sutskever 将互联网文本称作物理世界的映射。因此，将海量互联网文本作为学习语料的 GPT 学习到的就是整个物理世界。 

很清楚，生成式的能力，建立在学习语料的预训练模型基础上。 

那什么是预训练模型？ 

2017 年，Google 大脑团队在神经信息处理系统大会发表了一篇名为《注意力是你所需要的全部》（Attention Is All You Need）的论文。 

这篇论文的作者在文章中第一次提出了一个基于注意力机制的 Transformer 模型，并且把这个模型首次用在理解人类的语言上，这就是自然语言处理（NLP：Natural Language Processing）。 

Google 大脑团队利用非常多已公开的语言数据集来训练这个最初的 Transformer 模型，而这个 Transformer 模型包括 6500 万个可调参数。 

经过大量训练后，这个 Transformer 模型在英语成分句法分析、翻译准确度等多项评分上都在业内达到第一的水准，世界领先，成为当时最为先进的大型语言模型（LLM：Large Language Model）。 

2018 年，OpenAI 公司在研究 Transformer 模型时有了自己的技术突破。OpenAI 发表了论文《用生成式预训练提高模型的语言理解力》（Improving Language Understanding by Generative Pre training），推出具备 1.17 亿个参数的 GPT-1 模型。 

GPT-1 模型是一个基于 Transformer 结构的模型，但训练它的数据集更为庞大：包括 7000 多本未出版的图书，并涵盖多种类型，如言情、冒险、恐怖、奇幻等。在对模型做大量预训练后，OpenAI 还在四种不同的语言场景下，利用多种相异的特定数据集对模型做进一步训练。 

最终 OpenAI 训练出的模型 GPT-1，在文本分类、问答、文本相似性评估、蕴含语义判定这四个评价维度上，都取得了比基础 Transformer 模型更好的结果，因此也取代 Transformer 模型，成为新的 LLM 龙头。 

OpenAI 在 2022 年神经信息处理系统大会中，推出新的大型语言预训练模型：ChatGPT。GPT-3.5 是 ChatGPT 的前身，也是 OpenAI 对 GPT-3 模型做微调后开发出来的模型。在 GPT-3.5 诞生后，ChatGPT 问世。 

不难看出，ChatGPT 的 “地基” 是基于 Transformer 结构的模型。换句话说，LLM 用 Transformer 体系结构，构建了 ChatGPT。 

明白了这个逻辑关系，再来看看用 GPT-4 设计并成功流片的 130nm 芯片的 AI“生成” 情况。 

通过 LLM 的加持，芯片设计行业的关键技术节点 “HDL” 被成功攻克。芯片设计和开发的门槛大幅降低，速度也因此得以加快。即使不懂专业技术，也可以通过 GPT-4 设计芯片。 

什么是 HDL？ 

HDL，即 Hardware Description Language，自动化硬件描述语言，也就是面向接口编程：对硬件电路做行为描述、寄存器传输描述或者结构化描述的一种设计语言，包括主流的 VHDL（偏重逻辑综合，用于大规模系统设计）和 Verilog HDL（侧重底层统合，IC 设计应用主体）。 

使用 HDL 能提高数字电路设计的效率和可靠性，同时也可降低仿真和验证成本。因此，HDL 在数字电路设计和系统集成中得到了广泛应用。 

这怎么做到的？ 

纽约大学坦顿工程学院的那些研究员，通过 GPT-4，完成了首个由 AI 生成的 HDL，这能被直接用以制造物理芯片。 

在这个过程中，这些人并非用专业的 HDL 语言，而是用了普通英语。通过 GPT-4 的生成式 AI，普通英语也能起到像 HDL 这样的专用硬件描述语言一样的作用。 

这是一座里程碑。 

纽约大学坦顿工程学院电子和计算机工程系以及纽约大学网络安全中心研究助理教授 Dr.Hammond Pearce，是这个研究项目 “Chip Chat” 的领导人。 

Pearce 说，他特别想了解基于生成式 AI 的 AGI（通用人工智能：Artificial General Intelligence）语义大模型（LLM）在硬件设计领域的能力和限制边界。 

“硬件描述语言（HDL）的最大挑战是没多少人知道具体该怎么用。” Pearce 说，“要成为 HDL 专家（通常是硬件工程师）非常难。我不是芯片设计专家，但通过 GPT-4，用日常语言（而非 HDL）设计了这颗芯片。” 

当然，Pearce 团队设计芯片，也遵循了设计流程图和评估标准。因此用 GPT-4 设计的芯片，也达到工业标准。因而在 Skywater 130nm shuttle 上得以被成功制造出来。 

看上去，可以用 LLM 替代 HDL。 

一般来说，开发任何类型硬件（包括芯片），首要第一步，都要用日常语言描述硬件功能，通常称为产品定义。 

在这之后，再经过具有专业技能的工程师，将这些定义翻译成硬件描述语言（HDL），由此创建允许硬件执行任务的实际电路元件。后面还继之以硬件验证语言（HVL：Hardware Verification Language），用于电子电路设计验证。 

LLM 不仅可以用于一般商业应用的交互（问答），也能用于替代硬件设计的 HDL 环节，提高设计效率。 

Pearce 团队是怎么问的呢？ 

“让我们一起做个全新的微处理器设计。我们在空间和 I/O 方面受到严重限制。因此我们必须装入 1000 个标准单元的 ASIC（专用芯片），所以我认为我们需要限制自己，采用基于累加器的 8 位架构，没有多字节指令。鉴于此，你认为我们应该如何开始？” 

这种问答来回 125 次后，一颗 130nm 工艺制程的芯片就通过 LLM 制造出来了。 

尽管验证成果惊人，但这不意味着普通人也能通过 LLM 设计出符合工业标准的芯片。比如在 125 次来回问答中，没有芯片专业知识的普通人，很难问出能出成果的好问题。虽说能提出问题，就是解决了一半的问题。但这种问题，绝非随意胡乱提问的结果。 

Pearce 团队曾经测试过 LLM 将英语转换为 Verilog 的效果，但结果显示，专业工程师加入 GPT-4 的交互过程后，LLM 才产生了最好的 Verilog。 

Pearce 也说，“通过 GPT-4，HDL 专家能专注于更重要的任务，而基础工作，可以交给 LLM。” 

实际上，这件事的意义是 Pearce 团队首次探索并验证了在硬件领域使用 LLM 的效果。但是，目前仍不清楚这个研究团队是否应用了 “基于人类反馈的强化学习（RLHF）” 训练方法。这种方式能通过将其与特定意图的标记数据结合，可生成更能遵循用户意图的指令调优模型。 

此外，这项应用能否被大规模用于商业芯片设计，还没有定论。比如，这项工作的目标是以对话交互方式设计硬件，Pearce 团队没有自动化这个过程的任何部分，每个对话都需要手动完成。如果无法实现大规模自动化，那么商业化就存在困难。 

因此，虽然这项实验取得了惊人的成果，或许称得上是一座 AGI 技术验证的丰碑，但距离真正发挥商业价值，也许还有一段不短的路程要走。