Behind NVIDIA's "mysterious chip" – The era of inference begins with "four new trends in computing power"

英伟达整合 LPU（语言处理单元）技术、OpenAI 多线押注推理芯片，正在将 AI 算力竞争的主战场从训练切换至推理。申万宏源研究认为，2026 年算力产业的核心关键词将是推理，Token 消耗总量与技术范式均将围绕这一主题深度重构。

2 月 28 日，据《华尔街日报》报道，英伟达计划在下月的 GTC 开发者大会上发布一款整合了 Groq“语言处理单元”（LPU）技术的全新推理芯片，英伟达首席执行官黄仁勋称其为 “世界从未见过” 的全新系统。OpenAI 已同意成为该处理器的最大客户之一，并将向英伟达购买大规模 “专用推理产能”。

与此同时，OpenAI 上月还与初创公司 Cerebras 达成数十亿美元计算合作，后者称其推理芯片速度已超越英伟达 GPU（图形处理器）。这一系列动向表明，AI 巨头正在从训练算力的军备竞赛，转向推理算力的多线布局。

申万宏源报告指出，Token 经济时代，推理算力正迎来四大趋势：一是纯 CPU（中央处理器）部署场景增多，低成本推理需求加速算力下沉；二是 LPU 等专用架构崛起，挑战 GPU 在推理环节的主导地位；三是国产算力芯片加速突破，供应链多元化趋势明确；四是推理算力的需求结构从 “单次训练” 向 “海量 Token 消耗” 转变，性价比成为核心竞争要素。

报告表示，能够提供充足、高性价比推理芯片的厂商将最为受益，而 CPU、LPU 及国产芯片的共同突破，正构成这一轮算力格局重塑的核心线索。

推理需求全面爆发，Token 消耗创历史新高

申万宏源研究认为，需求持续扩张的背后是两大结构性驱动力：一是大模型货币化加速，Claude 等模型开始向应用端切入，发布多款行业插件；二是 Agent 落地提速，openclaw、千问 Agent 等产品标志着 Agent 正进入真实的工作与生产场景，而每一次模型调用和 Agent 任务执行，背后均需大量推理算力支撑。

申万宏源研究援引数据显示，春节期间国内头部大模型推理量大幅增长：豆包除夕当天推理吞吐量达 633 亿 tokens，元宝月活跃用户达 1.14 亿，千问 “春节大免单” 活动参与人数超 1.2 亿。

全球 AI 模型 API 聚合平台 OpenRouter 的数据进一步揭示了这一趋势的量级。2 月 9 日至 15 日当周，中国模型以 4.12 万亿 Token 的调用量首次超过美国模型的 2.94 万亿 Token；16 日至 22 日当周，中国模型调用量进一步冲高至 5.16 万亿 Token，三周大涨 127%，全球调用量前五的模型中中国占据四席。

LPU 成新贵，训练与推理芯片走向分化

英伟达斥资 200 亿美元获取 Groq 核心技术许可，并在 “核心聘用” 交易中吸纳了包括创始人 Jonathan Ross 在内的高管团队。申万宏源研究认为，这一交易标志着纯推理芯片的重要性已获得顶级玩家的正式认可。

LPU 与传统 GPU 的架构差异，正是其在推理场景中具备效率优势的根本原因。AI 推理分为预填充和解码两个阶段，大型模型的解码过程尤其缓慢，而 LPU 针对延迟和内存带宽这两大推理瓶颈进行了专项优化。据华尔街见闻此前报道，英伟达即将发布的新品可能涉及下一代 Feynman 架构，或采用更广泛的 SRAM 集成方案，甚至通过 3D 堆叠技术将 LPU 深度整合其中。

申万宏源研究据此判断，未来 AI 芯片将形成明确的技术分工格局：训练端继续沿用 GPU-HBM 组合，推理端则演进为 ASIC+LPU-SRAM+SSD 的组合方案。随着算力需求从训练向推理切换，专注推理芯片的厂商将迎来发展机遇。

推理系统全面革新，CPU 与网络需求同步提升

从单一芯片到系统层面的革新，是本轮推理算力升级的另一重要维度。申万宏源研究指出，随着应用场景从 chatbot 转向 Agent，算力系统对延迟、吞吐与思考深度的要求同时提升，推动系统架构向三层网络演进。

第一层为快反应层，由搭载 SRAM 的纯推理芯片提供极致低延迟反馈；第二层为慢思考层，使用超大吞吐算力集群负责复杂逻辑推演，多核多线程 CPU 在此层的需求将显著增加；第三层为记忆层，对应英伟达发布的 ContextMemory System，通过 Bluefield4 DPU 管理的 SSD 存储 Agent 的长期记忆与 KV Cache。

英伟达在硬件层面也在调整策略。此前将 Vera CPU 与 Rubin GPU 捆绑部署的标准做法，在特定 AI 智能体工作负载下被证明成本过高。英伟达本月宣布扩大与 Meta Platforms 的合作，完成首次大规模纯 CPU 部署，以支持 Meta 的广告定向 AI 智能体，标志着公司正超越单一 GPU 销售模式。

国产算力加速突破

申万宏源研究认为，国产推理芯片的技术升级值得重点关注，且存在市场预期差。

在技术层面，新一代国产推理芯片实现了多项根本性提升：新增支持 FP8/MXFP8/MXFP4 等低精度数据格式，算力分别达到 1P 和 2P；大幅提升向量算力，采用支持 SIMD/SIMT 双编程模型的新同构设计；互联带宽相比前代提升 2.5 倍，达到 2TB/s。

尤为值得关注的是，芯片层面实现了 PD 分离：通过自研两种不同规格的 HBM，分别构成面向 Prefill 和推荐场景的 PR 版本，以及面向 Decode 和训练场景的 DT 版本。其中 PR 版本采用低成本 HBM，可大幅降低推理 Prefill 阶段的投资成本，预计于 2026 年 Q1 推出。

供应链层面，国产封测厂商的进展提供了佐证。根据某头部封测企业首轮问询答复函，其 2.5D 封装业务收入主要来自高性能计算芯片封装服务，该项收入从 2022 年的 0.5 亿元快速增长至 2024 年的 18.2 亿元，侧面印证国产算力芯片供给能力持续提升，供应链国产化进程加快。