
華泰證券:大模型訓練所需算力每 3-4 個月增長 1 倍 需求有望進一步大幅增長

據 OpenAI,大模型訓練所需算力每 3-4 個月增長 1 倍,增速遠超摩爾定律 (18-24 個月/倍)。
智通財經 APP 獲悉,華泰證券發佈研究報告稱,算力是制約中國發展以 ChatGPT 為代表的大模型主要瓶頸之一。據 OpenAI,大模型訓練所需算力每 3-4 個月增長 1 倍,增速遠超摩爾定律 (18-24 個月/倍)。隨着 GPT-4 等下一代大模型出現,算力需求還有望進一步大幅增長。中國發展高性能計算,應加大在:1) 異構計算芯片架構;2) 先進封裝方面的投入。
華泰證券主要觀點如下:
算力是制約中國發展大模型的主要瓶頸
該行認為算力是制約中國發展以 ChatGPT 為代表的大模型主要瓶頸之一。據 OpenAI,大模型訓練所需算力每 3-4 個月增長 1 倍,增速遠超摩爾定律 (18-24 個月/倍)。隨着 GPT-4 等下一代大模型出現,算力需求還有望進一步大幅增長。該行認為美國對華出口限制,主要造成中國先進工藝發展短期受限、國產替代方案或推高大模型訓練成本/時間兩大影響。中國發展高性能計算,應加大在:1) 異構計算芯片架構;2) 先進封裝方面的投入。
影響 1:先進工藝對提升芯片性能至關重要,中國大陸發展短期受限
發展先進製程意義在於持續提升晶體管密度,提升芯片性能、降低功耗。根據 WikiChip,台積電 5nm 芯片每平方毫米晶體管數量是 10nm3.3 倍,16nm5.9 倍,3nm 晶體管密度有望比 5nm 提升 70%,性能提升 11%,功耗降低 27%。美國限制 16/14nm 及以下先進邏輯工藝技術及設備向中國出口,對中國先進製程短期發展造成較大阻力。進入 3nm 製程以下,目前主流 FinFET 將走向物理極限,GAAFET 將成為主流技術,但美國對中國禁售相關 EDA 軟件。同時,荷蘭 EUV 及先進 DUV 光刻設備目前均無法對中國出口。
影響 2:A100 進口限制阻礙大模型發展,國內替代方案或推高成本
22 年 8 月美國限制英偉達、AMD 對華出口高端 GPU 芯片,儘管後來有替代版本 A800 推出,但由於對高速互聯總線的帶寬做部分裁剪,在使用性能和功耗上面仍與 A100 有部分差距。目前 H100 性能是 A100 的 4.5 倍,而 A800 理論性能相比 A100 降低約 1/3,隨着算力需求不斷增加,國內由於 A100 以上芯片的進口限制導致大模型訓練時間/成本或顯著提升,客觀上阻礙了我國大模型的發展。因中國企業進行 14nm 以下半導體代工受到技術及設備限制,及美國限制海外代工企業為中國設計企業生產性能超過 A100 的芯片,短期內,中國芯片公司能夠生產超過 A100 的 AI 芯片的難度也較高。
路徑 1:異構計算蓬勃發展,關注 GPU,DPU,存算一體等不同路徑
面對先進製程昂貴成本和日趨接近物理極限,僅靠工藝改進難以滿足算力膨脹需求。異構計算從計算架構出發,充分利用計算資源並行分佈,將不同製程/架構、不同指令集、不同功能硬件進行組合,成為解決算力瓶頸更為經濟的方式。目前主流異構包括 1) GPU,2) DPU,3) 存算一體,4) 自適應加速器等路徑。目前中國異構計算正蓬勃發展。
路徑 2:先進封裝助力超越摩爾定律,國內公司積極佈局 2.5/3D 等領域
先進封裝是一系列通過把採用不同工藝的小芯片相結合,提升芯片互聯密度及通信帶寬,從而大規模提升芯片性能的技術,實現超越摩爾定律。AMD 於 2015 年,在業界內率先採用 2.5DChiplet 設計的芯片,通過把存儲和計算芯片在平面上連接,大幅提高系統性能,從而實現對英特爾市場地位挑戰。該行看到 Chiplet 作為長期趨勢,有望提升芯片測試需求及 IP 可複用性。
風險提示:1) AI 技術落地不及預期。2) 本研報中涉及到未上市公司或未覆蓋個股內容,均系對其客觀公開信息的整理,並不代表本研究團隊對該公司、該股票的推薦或覆蓋。
