GPT 会是 AI 算法模型的终极答案吗？

中信证券认为，GPT 模型在交互逻辑、内容生成和理解上具备独特优势，AI 算法模型最终会普遍朝 GPT 方向靠拢。

过去十年来，人工智能领域经历了从小模型到以 Transformer 为代表的大模型的百花齐放。直到 ChatGPT 横空出世，才终于将简洁、易用的 “通用人工智能” 带入了大众视野。英伟达 CEO 黄仁勋曾多次表示，他相信 ChatGPT 的诞生，意味着人工智能的 iPhone 时刻。这款革命性产品的背后，是 OpenAI 十年磨一剑的 GPT 系列大模型。

AI 算法模型作为产业的核心环节，其本身的技术路线，将直接决定 AI 产业链最终形态，以及各产业环节的分工协作方式、价值分配结构等。

那么，GPT 系列大模型会成为 AI 算法模型的终极答案吗？

通过对 AI 发展技术路线的梳理，中信证券分析师陈俊云、许英博等指出，GPT 模型在交互逻辑、内容生成和理解上具备独特优势，AI 算法模型最终会普遍朝 GPT 方向靠拢。

AI 技术路径四阶段

从人工智能这个概念在 1950 年被提出开始，已经经历了从规则学习到机器学习再到神经网络的关键转变。分析师强调，本轮人工智能的技术突破都是基于在神经网络技术上的不断进步。过去 10 年里，AI 模型经历了从小模型到以 Transformer 为代表的大模型的转变。

而细分近十年来模型发展的进步，分析师观察到了从以 CNN、DNN 为代表的传统神经网络小模型到以 Transformer 为代表的神经网络大模型转变的趋势。

具体来看，全球 AI 行业最近 10 年的发展历史，可以总结为 4 个阶段：

1）2017 年前：

以深度学习为核心的小模型占据主流：这类模型以 LSTM 及 CNN 模型作为典型的特征抽取器，根据特定领域标注数据训练，在一些任务上可以达到接近人类的水准。但是硬件算力不够导致针对其他领域重新训练成本过高，让其通用型任务的完成情况较差。

2）2017 年到 2020 年：

以谷歌 Bert 为代表的双向预训练 +FineTuning（微调）的 Transformer 模型横空出世成为了人工智能的主流方向。

谷歌研究团队发表的《Attention is all you need》论文（作者：Ashish Vaswani，Noam Shazeer，Niki Parmar 等）开创了 Transformer 模型，重新统一了自然语言模型 (NLP) 的研究范式。

这类模型以预训练的方式学习语言学特征，大幅简化了过去 NLP 繁琐的研究种类。Transformer 作为特征提取器效果好于 CNN、LSTM 模型等，在信息容纳能力、并行计算等方面明显占优，让 AI 首次能在语言任务的部分场景中追平人类。

3）2020 年到 2022 年：

产业界与学术界继续沿着 Transformer 的道路前景，但开始尝试不同于 Bert 的其他 Transformer 架构，通过预训练无监督学习的方法不断增加模型体积成为了这一时段的主流。

以 1750 亿参数的 GPT-3 为代表，各大互联网巨头不断尝试增加模型体积以获得更好的效果。

GPT-3 为代表的自回归 +Prompting 的方法开始展现产品化能力的优越性，与 Fine-tuning 方法的 Bert 模型成为两条道路。

相比于 Bert，GPT-3 的自回归 +Prompting 在产品化能力展现出了两个优点：

Fine-tuning 对于小公司更难部署，从产品化的角度上更加困难；

Prompting 的方法更符合我们对以人类的方式使用 AI 的愿望，并实现了人、模型之间的自然交互。

谷歌等巨头在这一阶段也意识到了 Prompting 方法的重要性，逐渐开始转向。

国内 AI 研究在这一段时间内出现了明显落后，仍然沿着 Bert 模型的方向继续前进，对 GPT-3 的研究很少；同时受制于中文优质语料的缺乏，模型大小也较难提升。

4）2022 年至今：

ChatGPT 的成功证明了 GPT 模型的 Prompting 道路的正确性，同时也强调了数据质量的重要性。

ChatGPT 最重要的成功是在产品化上更进一步：ChatGPT 在模型精度上并没有飞跃性的突破，但从 Few Shot prompt（需要输入少量范例示范）转换到 Instruct（用人类语言描述想做什么）更加贴合用户的习惯。

GPT 更接近 “通用人工智能”

分析师总结称，尽管 Prompting 虽然牺牲了部分精度，但无需用任务区分器区别不同的任务，更接近于大众所理解的 “通用人工智能”。

此前大众此前接触的人工智能如·Siri、小爱、小度音箱等，通过以任务分类的形式运行，准备不同任务的标注数据分别进行训练，是传统的 Bert 类模型。

简单来说，将预先设置好的任务类型放于模型背后，使用者通过描述任务类型系统来匹配对应的模块，缺点是使用者的指令需要清晰且无法执行没有预先设置的任务类型。

而 GPT 类模型面对用户不同的输入，模型可以自行判断给了用户更好的体验，这也更接近于大众理解的 “通用人工智能”。

华尔街见闻此前多次提及，除了文字领域，LLM（大语言模型）已经被应用于图像、音视频等场景的问题求解中，并不断取得理想的效果。

而在 LLM 模型的技术路线上，GPT 在内容生成、理解上的良好表现，以及更为可行的人、模型交互方式（prompt 提示词），让 GPT 有望成为算法模型的终极答案。

本文主要观点来自中信证券陈俊云（执业：S1010517080001）等发布的报告《GPT 会是 AI 算法模型的终极答案吗？》，有删节