ASIC: The Economics of Custom Chips

ASIC（定制芯片）经济学的讨论因博通提到的 Open AI 的 100 亿美金订单而重新升温。文章分析了 ASIC 与 GPU 的关系，指出最先进的 GPU 已高度特化，主要用于 AI 加速，实际上也可视为 ASIC。区分 ASIC 与 GPU 的关键在于商业模式，主要有商业芯片和定制芯片两种选择。自研芯片的诱惑在于高利润，但成本也相对较高。

ASIC / 定制芯片不是新东西。

博通业绩会上提到第 4 个 “神秘客户”(Open AI）的 100 亿美金订单，却让这个 “GPU VS ASIC” 的讨论重新上了个高度。

趁着周末重新整理了一下 ASIC 的经济学，和接下来芯片行业的一些叙事变化。文中借用了 TD Cowen 的一个分析框架，写的挺好的。

自研芯片的 ROI 框架

1/ 哪有什么 ASIC vs GPU，说白了大家都是 "ASIC”；

传统观点里，GPU 为了灵活性，牺牲性能；而 ASIC 则为特定任务优化，效率更高；这种框架现在已经没那么适用，因为最先进的 GPU 在芯片架构层面已经高度特化，大部分计算能力都用于 AI 加速，特别是矩阵乘法运算，与图形处理关系很小；
大语言模型 LLM 中，超过 90% 的计算都是矩阵乘法，这些芯片实际上都是为同一个特定应用（AI 加速）而生的 ASIC。（比如 NV 的 Tensor Core / 谷歌的 Matrix Multiply Unit / 亚马逊的 Tensor Engine）；下图中黄色的这块。
某种程度上，大家都是搞 AI 的 “ASIC”；

2/ 区分 ASIC vs GPU 的本质其实不是技术路线，而是商业模式。用另外一种角度看，其实主要区别只有，

A. 商业芯片 (Merchant) 芯片厂搞，卖给很多人。
B. 定制芯片 (Custom) 云厂搞，自己用。随着 Google 之前传出卖 TPU 的新闻之后，这个界限也开始模糊。

说白了，只是哪一个路线更加 “省钱” + 有长远的战略意义。

既然是从 “钱” 的角度出发，用 ROI 的框架来分析，可能会更加直观一些。化繁为简，只有两种情况，“买”（buy）vs “自研”（build）；

3/ “自研” 的诱惑 vs 代价

商业芯片，利润太高了（这里不需要我赘述，大家都知道。看看 4 万亿市值的英伟达）；80% 的芯片成本，都转化成了英伟达的利润。

自研当然是为了吃掉这部分利润，但是定制芯片是高度 “二元化”/binary 的。要么成功，要么失败；并不存在说，我自研的芯片虽然垃圾，也能跑一跑的这种 “中间态”。

4/ 为什么定制芯片 “不成功便成仁”？TD Cowen 这里给了一个 “暴论”，只要你自研的芯片不能达到英伟达最先进芯片性能的 50%，那就通通都是电子垃圾，就算流片了，也不应该量产。

几个基本假设（假设有点长，用灰色处理了），

学习老黄用 “AI 工厂” 的概念去理解这个芯片投资；这个工厂的 “产品” 就是通过 API 调用生成的 “tokens”。
市场存在一个公开的 “推理服务” 价格；OpenAI、Anthropic、Google 都在以 API 的形式提供其 LLM 服务，这个价格通常以 “美元/每百万 tokens”（$/1M tokens）来计费。
硬件性能决定了 “产品” 的生产速度；一个 AI 芯片的性能，可以直接体现在它处理一个模型时每秒钟能生成多少个 tokens，即吞吐量（Throughput, measured in tokens/second）。性能越强的芯片，生成 tokens 的速度越快。
也就是说，收入/秒 = (价格/token) × (吞吐量， tokens/秒)

有了上面的假设之后，

性能=算力=收入，AI 工厂的核心竞争力；一个性能是对手两倍的芯片，在相同的时间内，就能产生两倍的收入。
目前市场上的 API 定价实际上是基于一个隐藏的共同基础：它们绝大多数都运行在 NVIDIA 的 GPU 上。这使得 NVIDIA 的性能成为了市场定价的 “黄金标准”（其他人只能 “吞下” 这个标准）。
换句话说，你的收入不完全是取决于你自己的芯片绝对性能，而是取决于你的芯片 vs 英伟达芯片的相对性能（因为英伟达定义了收入标准）；

假设结束，直接上结论。（TD Cowen 的报告有一个很详细的计算，这里篇幅限制我直接跳到结论。）

买老黄芯片的 IRR 很高，大概有 24% （大家不需要太较真这个数字，主要是解释决策思路）。“买的越多，省得越多”；
如果云厂自研出来的东西，性能能达到英伟达芯片的 70% 表现，那么 IRR 就可以有 35%（英伟达的利润被省下来了，转化成了成本节省，最终转化成为 IRR）；
如果自研的东西，性能能达到英伟达芯片的 50%，那么 IRR 刚好差不多，来到了临界点。这个时候你仍然可以推进量产，因为有战略意义。
但是如果你自研的东西，性能仅仅能达到英伟达芯片的 30%，那么 IRR 骤降（这里不是线性的，因为电力，数据中心成本很多都是 fixed costs），那么你应该果断放弃自研，流片了也不要量产。在这个情况下，IRR 甚至比不上你公司的资金成本/WACC;（放在 Open Ai 语境下，他家拿的是 VC 的钱，WACC 肯定高过谷歌非常多）；

用框架分析接下来的行业变化

我们姑且当做上面的假设和框架有些启发，再来看看现在行业里面发生的事情。

1/ 谷歌的 TPU 刚好来到了 50% 的这个临界点，所以我们看到了这个季度 TPU 直接爬坡量产（叠加 Gemini 的需求驱动）。这也是为什么 TPU 链上的东西，最近都这么火热。

2/ 博通宣布的 Open AI 订单，可能也已经过了 50% 性能的这个风水岭，所以管理层提到订单已经下来了。（我们之前公众号提过，OpenAI 也是挖了很多谷歌 TPU 团队的人）；

但是这个 “量产”，仍然有一个不确定性存在，那就是你需要确定你在量产的时候，你的芯片仍然能够达到英伟达 50% 的性能（因为英伟达并没有停滞，而是仍然在不断加强他家的芯片能力。）
这个 “量产” 不 “量产” 的决定，不取决于博通，不取决于 Open Ai，而是取决于量产的时候，两者芯片的 “相对能力”，“相对迭代速度”。