OpenAI 自研芯片，有何独特之处？
八卡服务器的成本控制在 10 万美元之下或非遥不可及。
近日，路透社报道称 OpenAI 正在考虑自研芯片。根据报道，自从去年开始，OpenAI 已经开始在为人工智能模型训练芯片缺货（即 Nvidia GPU 供货紧张）的问题开始考虑对策，而目前正在积极准备自研芯片以满足未来对于人工智能芯片的需求。
事实上，不久之前 OpenAI 的 CEO Sam Altman 曾公开表示 Nvidia GPU 缺货对于 OpenAI 以及整个人工智能行业都存在着很大的影响。另外，从今年开始 OpenAI 开始招募硬件相关的人才，官方网站上有数个软硬件协同设计的职位在招聘，同时在今年九月 OpenAI 还招募了人工智能编译器领域的著名牛人 Andrew Tulloch 加入，这似乎也在印证 OpenAI 自研芯片方面的投入。OpenAI 官方对此事拒绝发表评论，但是如果这件事最后落地的话，OpenAI 将会是继谷歌、亚马逊、微软、特斯拉等之后有一个加入自研芯片行列的硅谷科技巨头。
OpenAI 为什么要自研芯片
如前所述，OpenAI 自研芯片的主要动力是因为 GPU 缺货。更具体地说，是因为无论是购买 Nvidia 的 GPU，还是使用基于 GPU 的云服务，价格都太贵，尤其是考虑到 OpenAI 未来模型训练需要的算力可能还会指数级提升。
OpenAI 从数年前开始就布局生成式人工智能，而在去年的 GPT-3 以及去年下半年的 ChatGPT 公布后，由于这些生成式大语言模型的能力在过去数年内得到了大幅提升并且到达了可以和人类实现有意义的对话的地步，OpenAI 一举成为了人工智能领域的领头羊，而生成式人工智能也成为了预计未来几年内对于人类社会影响最大的技术。根据路透社的报道，OpenAI 去年录得收入 2800 万美元，而总体亏损为 5.4 亿美元；而 OpenAI 巨大的亏损背后，主要原因就是由于算力开销。值得注意的是，5.4 亿美元的损失还是在生成式人工智能火爆前夕的 2022 年；在未来算力开销可望会指数级提升，这主要由于：
大模型竞争更激烈，模型进化速度变快，需要的算力快速提升：除了 OpenAI 之外，谷歌等科技巨头也在力推自己的大模型，这使得大模型的进化速度显著变快，未来预计一个季度到半年就要更新一代，而最尖端模型需要的算力估计每年都会上升一个数量级
大模型应用场景变得更广：目前，微软和谷歌已经在搜索和代码编写领域开始使用大模型，预计在未来会有更多的大模型应用场景，包括自动任务处理、多模态问答等等，而这些会让不同的模型数量大大提升，同时也大大提升了模型部署需要的总算力。
根据美国金融公司 Bernstein 的分析，如果 ChatGPT 的访问量达到谷歌搜索十分之一的水平（而这也是 OpenAI 未来的重要目标之一），那么每年 OpenAI 的 GPU 开销将达到 160 亿美元。而这样的开销，可能是未来 OpenAI 进一步规模化的一个重要瓶颈。
那么，OpenAI 如果要自研芯片，那么将能把成本节省多少呢？目前，一台使用八卡 Nvidia H100 GPU 的服务器采购成本约为 30 万美元，加上云服务商的溢价使用这台服务器三年的总成本为 100 万美元左右（这是 AWS 的官方报价，其他云服务商提供的价格应该在同一数量级）；如果 OpenAI 能用自研芯片把这样的八卡服务器的成本降低到 10 万美元以下，将会大大降低其成本。另一方面，如果自研芯片成功的话，在大规模部署的情况下单张加速卡的成本控制在 1 万美元以下应该很有希望，也即八卡服务器的成本控制在 10 万美元之下并非遥不可及。
OpenAI 自研芯片，有何独特之处
目前，自研芯片的科技公司已经有不少，那么 OpenAI 如果自研芯片会和谷歌、亚马逊等科技公司的自研芯片有什么不同呢？
首先，OpenAI 的自研芯片纯粹是为了自己的模型训练使用，这一点和谷歌、亚马逊等自研芯片并且目标放在云端服务器上供客户使用的商业模型不一样。对于谷歌、亚马逊等自研芯片供云服务客户使用的场合来说，由于用户使用模型的场景并不明确，使用的软件栈不确定、具体训练的模型也不确定，因此需要在芯片设计上满足兼容性的需求，而这样兼容性的考虑往往会以牺牲每个训练任务的效率和性能为代价。相反，OpenAI 自研芯片只是为了自己使用，而且训练的模型非常明确：就是以 Transformer 为基本组件的大语言模型，而且使用的软件栈也完全控制在自己手里，因此可以确保设计有非常高的针对性。
第二点不同在于 OpenAI 对于模型有非常深入的理解。OpenAI 在生成模型领域是领军企业，目前 GPT 系列模型仍然是大语言生成式模型中性能最好的模型，而且 OpenAI 在生成式模型领域有着多年积累，因此 OpenAI 对于目前生成式模型的各种设计方案有着深入的理解，这意味着 OpenAI 有足够的能力和积累做芯片 - 模型协同设计，能够根据芯片的特性去设计相应的模型，同时也可以根据模型的需求去明确芯片的设计指标，包括如何在计算单元、存储和芯片间互联之中做最优化的折衷等。最关键的是，OpenAI 对于未来几年的生成式大模型的路线图有着行业中最明确的规划，这意味着即使自研芯片需要数年的时间，也不用过于担心芯片真正量产后已经无法赶上模型更新的局面。从这个角度来说，OpenAI 的自研芯片和谷歌以及亚马逊都有很不一样的地方，但是和特斯拉的 Dojo 系列自研模型训练芯片却有相似之处；而和特斯拉又不一样的是，OpenAI 对于模型训练的需求显然会远高于特斯拉，而这样的自研芯片的重要程度对于 OpenAI 来说也会更高。
这些 OpenAI 的独特之处，让它有机会能实现使用非常规专用设计完成的高性能芯片。最近，Nvidia 在官方博客中对于其 GPU 的性能提升规律做了分析：Nvidia 的 GPU 算力在不到十年提升了 1000 倍，根据分析在 1000 倍算力提升中，计算精度的优化（即使用 16 位甚至 8 位浮点数来取代原本的 32 位浮点数计算）并且搭配专用的计算模块实现了 16 倍的性能提升，而芯片架构领域和编译器的协同优化又提供了 12.5 倍的性能提升，而另一方面半导体工艺带来的性能提升仅仅只有两倍。由此可见，在高性能计算芯片领域，算法和芯片架构协同设计（包括模型算法和编译器算法）才是主要的性能提升动力（也即 Huang‘s Law），而从这一角度来说，OpenAI 确实处于一个非常有利的地位，凭借着其对于算法的深刻理解，OpenAI 可望可以充分利用 Huang’s Law，从而在未来几年内实现高性能计算芯片的设计。
OpenAI 自研芯片的挑战
OpenAI 自研芯片除了有自己的优势之外，当然也有挑战。
OpenAI 自研芯片的目标明确，就是用于大模型的高算力芯片。高算力芯片的首要挑战就是其复杂度，从芯片设计角度，高性能计算芯片中的计算单元、存储访问以及芯片间的互联都是需要仔细考虑。例如，为了能满足大模型的需求，芯片大概率会使用 HBM 内存；为了实现芯片的高能效比和规模化，预计会在先进工艺上搭配芯片粒等技术实现高良率；大模型通常会使用分布式计算，因此芯片间的互联就显得至关重要（Nvidia 的 NVLINK 和 InfiniBand 技术对于 GPU 来说非常重要，OpenAI 也需要类似的技术）。这些芯片设计组件每一个都需要有相当经验的团队来实现，而把这些组件集成在一起也需要非常优秀的架构设计来确保整体性能。OpenAI 如何在短时间内组建一个有经验的团队来做这些具有挑战性的设计将是一个重要的挑战。
除了芯片设计之外，如何确保软件和硬件协同工作，或者换句话说如何设计一个高性能的编译器以及相关软件生态是 OpenAI 的另一大挑战。目前，Nvidia GPU 的一个重要优势就是因为其 CUDA 软件系统，经过十多年的积累后已经有很高的性能以及兼容性。OpenAI 的自研芯片中，编译器系统也需要实现 CUDA 这样的高性能才能完全利用芯片的算力。与其他针对云服务的科技公司自研芯片不同，OpenAI 的芯片主要是供自己使用，因此无需太担心生态和对于用户模型支持度的问题，但是在编译性能上也需要达到和 Nvidia 的 CUDA 接近才行。事实上 OpenAI 在这个领域从早些时候已经开始有投入；今年七月 OpenAI 公布了自己的基于开源 Triton 语言的人工智能模型编译方案，可以把 Python 代码通过编译为使用开源 Triton 语言的中间代码（intermediate representation，IR），然后再使用 Triton 编译器和 LLVM 编译器编译到 PTX 代码，从而可以直接在支持 PTX 的 GPU 以及人工智能加速器上运行。从这个角度看，OpenAI 对于编译器的投入或许就是其自研芯片的先声。
最后，芯片的具体生产也会是一个挑战。如前所述，OpenAI 大概率会使用先进工艺节点和高级封装技术来实现，因此如何确保生产的良率，以及更重要的是，如何在高级封装和先进工艺节点产能仍然有可能紧张的几年内获得足够的产能以量产，也是一个需要解决的问题。
考虑到这三个挑战，我们认为，OpenAI 目前自研芯片的计划可能会是多步走。首先，在技术团队和生产问题没有完全解决前，OpenAI 可以选择和微软（其最大股东，同时也有自研芯片计划 Athena）以及 Nvidia（或者 AMD）合作，选择半定制化芯片，例如 OpenAI 提供芯片需要支持的一些指标，甚至提供一些 IP，而可以和这些合作方一起把芯片设计和生产出来。而在技术团队和生产问题解决后，OpenAI 可以选择大力投入自研的全定制芯片，从而完成最佳的性能和可控性。
文章来源：李飞 半导体行业观察 原文标题：《OpenAI 自研芯片，有何独特之处？》