我们距离 AGI 还有多远？

关于 HBM 那份纪要的其他反馈

上篇文章发了一篇 HBM 纪要小部分内容（星球更新了另一部分），收到很多业内大佬们的反馈，包括颗粒计算、封装订单划分等等，以及是不是某通某电的一个专家。其中倒是出现一个非共识的说法，引用下：

“XX 现在其实还做不出，或者说技术还落后，技术底子还是差了点。反而另一家 YY 的 HBM 和 DRAM 进展不错在 one 厂完成了小规模量产，third 期除了 GKJ 其他可以实现 100% 国产。两家给了国产几大设备厂大量研发攻坚任务，尤其是 TSV 高深宽比和孔内镀膜，技术难度和价值量最大。”

某家 Broker sales 评论美股

2 月份的科技资金流入由 PANW 和 NVDA 引领，这两家公司成为我们客户当月买入最多的单一股票。此外，在被动投资科技方面非常活跃，因为 QQQ 达到了多年来的月度流入高点，我们客户的流入量也达到 2021 年 9 月以来最高。M7 继续带领标普 500 的上涨是否可持续？在 2023 年的前三个季度，SPX 的上涨（+11.7%）中 94% 来自 M7 的推动（+11.0%），这意味着剩下的 493 只股票基本每涨。但自 2023 年 10 月以来，M7 的贡献下降到了 35%，M7 上涨了 25.3%，为 SPX 的反弹贡献了 6.4%，而剩下的 493 只股票上涨了 16.1%，为 SPX 的反弹贡献了 12.0%。从产业角度，现在可能是 AI 行情的初期，可以想想 1990 年代初的早期互联网时代、以及 1990 年代末的 dot.com 时代，每个阶段都持续了多年。实际上，围绕 M7 的乐观情绪有助于改善整体市场情绪，就比如最近的上涨已经扩大到 M7 之外的科技股。从资金看，美国共同基金在 2 月转为流入，SPX 前 50 股票在 2 月至今的每一天都是 positive call skew，意味着个人投资者的乐观情绪，在为看涨期权支付溢价。此外个人投资者在 16 个月连续卖出之后 1 月转为买入，2 月继续呈现买入，且他们自 2022 年 5 月以来的 95 周中有 93 周都在积累现金，总计 9660 亿美元，如果利率开始下降，有很大的空间将资金转移到股票。但另一方面，不确定来自 FOMC 3 月 20 日的下一次会议。

MS 拍的世芯 Alchip 的收入拆分

说实话，如果你去考古比如 2010 年前 Wallstreet 对谷歌 meta apple 之类的预测模型，和今天实际对比下，会发现错得离谱，为啥，线性预测，你我本能的思维方式，但大家也知道，事物的发展一定是非线性的。因此你说 AWS 给 500、750、然后到 25 年可能的确小年放个 800，再然后呢？从scaling law 本身指数型算力需求 + 推理占比提升 + 自制需求提升 + 未来某一天 cowos 放量，我不太买账这种线性外推拍出来的数（虽然我心里也没个准...），但隐约感觉大方向是继续上调。何况你也不知道有什么新增客户后面会冒出来，这些都不可预测。有时候得接受预测的无能...

戴尔电话会透露英伟达 B200

戴尔 CFO 替英伟达 “非官方” 披露了 B200 发布时间为 2025 年（如下图）。按照 H100 和 H200 的时间差也差不多（H100 是 22 年 GTC H200 是 23 年 11 月）这也不算什么惊喜，市场对 B200 也有预期，只不过这是第一次被产业链公司公开提及。另一个重点是提到 B200 功耗会在 1000W 以上（H100 是 700W），且 CFO 来了句 “你真的不需要直接液冷来达到这种能量密度”。Tom' Hardware 刚刚发了文章对此做了分析，按照散热的普遍系数，芯片面积的散热通常最高约为每平方毫米 1W，而 B 系列双芯片设计，面积妥妥上 1500 平方毫米了，因为 3nm，可能再打个折，1000W-1500W 之间。但按照 CFO 下面的话，直接浸润式液冷也不是必须，综合考虑前后成本投入和技术成熟度，估计 B 系列上冷板、风冷也还会持续一段时间。虽然一定是未来，但也需要给产业点时间。另一位大佬说 B100 会降频控在 700W。

退一步看目前的市场，现在叙事的确朝着马斯克之前的暴论方向走，“现在是算力紧缺，未来是电力紧缺（PUE）”，step down transformer、cooling、IDC 租赁、存储、甚至可能蔓延到 IDC 相关的各种基础设施。也就是 Gavin Baker 说的，“相比于软件，更多对 AI 的追逐转向了 Power、utility、industrials 等等” 2 月份软件指数 +2%，而 SOX+15%（from F 姐）。

Altimeter Jamin Ball 谈软件复苏

第四季度的 ARR 净新增创新高，从一些已经发报的公司 earning 上得到了验证，开始看到宏观逆风的减弱。从业绩和股价反应来看，FOMO 的情绪在 Software 一点不比 semi 和 hardware 差，除了业绩 miss 太多的（SNOW），以及突然来个惊吓的（PANW）...但你看 PANW 之后修复，所以你说 SNOW 会怎么走？

关于推理芯片的一篇长文，提炼下干货：

OpenAI 把复杂精细的算法管理变成了 Self Attention 这种简单算法 + 硬件暴力堆料的方式搞成了，直接 O(n^2) 的方式算上下文关联度就完事儿了，于是实现 AGI 的问题很大一部分简化成了芯片和系统设计的 Scaling 问题了，而芯片行业恰恰是人类所有工业体系里面 Scaling 技能点最牛逼的，等上下文长度 Scaling 起来又能把 AGI 涌现到什么程度我都不敢想。

注：1.解释了芯片在这次 AGI 淘金中的价值；2. 部分解释了为什么说 scaling law 可以通往 AGI

未来长远来看，MOE 和 KV 稀疏化是加速 AGI Scaling 从算法层面最有效的途径，其实也是从粗放式逐渐过渡到精细化管理静态和动态权重，从而可以创造在芯片 Scaling 基础上进一步更快加速超长上下文和超大模型的低成本 Scaling，而对于硬件的容量需求会进一步扩大，同时随着稀疏化程度提高，使得 Memory Hierarchy 可能重新变得在系统层级更有意义

今天的 Infra 层面还远没有演进到对硬件系统如此高效的程度，多模态进一步加剧复杂程度。不同模态的流量潮汐、计算特点以及计算、内存、带宽资源占用情况，都会进一步加剧整个系统对于弹性的需求。

实际上 LLM 的推理对 Infra 层面的调度设计的复杂性压根不在 transformer 本身，而是在 “大” 模型产生的各自带宽流量问题，精细化利用高速内存和带宽资源催生的潜在的算子需求也已经开始爆炸，甚至复杂度是远高于原先的朴素算子的。这些算子和调度分别是在微观层面和宏观层面对硬件资源的极致利用，在今天这种对算力、带宽、容量、互联需求全都拉爆的应用上，这种极致利用会变得更加重要。而这些复杂的软件系统对 LLM 系统的设计增加了巨大的难度和工作量，似乎给所有 NVidia 的竞争者设置一层层障碍。

所以实际上 NVidia 对大模型推理这种对算力、内存容量、内存带宽、互联带宽、IO 带宽、灵活性、可编程性都提出了极其变态的需求的场景应对方案就是在这些维度都做到第一，以一种统一的芯片形态保证了在综合维度的竞争力，当然这也是 NVidia 对于所有场景的统一策略，这个策略当然没错，NVidia 今天大力提升显存带宽也是为了绞杀 AMD 在这两个维度的短期优势。

Alex Irpan 的《我们距离 AGI 还有多远？》from 拾象

越来越多证据表明，即使仅通过计算规模增加和使用正确数据集，也能把不成熟的技术原型转化为成熟的产品。我现在完全信仰计算的力量，并且认为要想实现 AGI，计算的占比是 80%，剩下 20% 是理论创新。

如果模型不会陷入自我复制的循环，模型进步最终将不再取决于人类的智力努力，而是取决于投入到系统中的 FLOPs 计算资源的数量。即使合成标签（synthetic labels）比真实标签准确度更差，但它的成本也低，能大量用于模型训练。我认为未来合成数据和模型自我监督都会投入使用，到时的场景也许是这样：人类的直接反馈仅仅被用来引导或初始化奖励模型，或者对已有的数据进行合理性检查，而不是直接被用来训练模型。其他一切都将由模型自主生成和自我监督，然后不断反馈，不再依赖于人类直接的指导或监督。

在 AI 领域，模型永远无法完全实现人们的所有预期，但模型的能力却在持续扩展，而且从不倒退。今天的 AI 技术水平将会是未来几年的低点，因为 AI 还会继续进化。即使所有 VC 都失败，LLM 不再流行，我们依然拥有了目前已经训练好的模型和衍生出的思想。技术的发展是不可逆转的，我们都应该好好思考这一点。

本文作者：Jsaon，来源：信息平权（ID:xinxipingquan202309），原文标题：《HBM、B200 能耗、推理卡》

风险提示及免责条款

市场有风险，投资需谨慎。本文不构成个人投资建议，也未考虑到个别用户特殊的投资目标、财务状况或需要。用户应考虑本文中的任何意见、观点或结论是否符合其特定状况。据此投资，责任自负。