华泰证券：从 BloombergGPT 看金融 GPT 机遇

2023 年 3 月 30 日，金融信息提供商彭博社发布了专为金融领域打造的大语言模型（Large Language Model，LLM）Bloomberg GPT。该模型依托彭博社的大量金融数据源，构建了一个 3630 亿个标签的数据集，支持金融行业内的各类任务，在执行金融任务上的表现远超过现有模型，在通用场景上的表现与现有模型也能一较高下。

华泰证券分析师谢春生（执业：S0570519080006）认为，掌握金融数据的国内厂商也有望复制 Bloomberg GPT 的路径，实现大语言模型在金融场景的有效赋能。

核心突破在于金融语料

尽管 Bloomberg GPT 的模型参数介于 GPT-2 与 GPT-3 之间。但 BloombergGPT 的金融垂直能力远超 GPT 系列。

分析师指出：

根据论文《Bloomberg GPT: A Large Language Model for Finance》的模型介绍显示，Bloomberg GPT 同样基于典型的 Transformer 架构，Bloomberg GPT 的模型参数介于 GPT-2 与 GPT-3 之间，GPT-2 模型参数为 1.5 亿，GPT-3 模型参数为 1,750 亿，Bloomberg GPT 的模型参数为 500 亿。

官方论文《Bloomberg GPT: A Large Language Model for Finance》中的测试结果显示，Bloomberg GPT 在执行金融任务上的表现超过现有的通用 LLM 模型，在通用场景上的表现与现有通用 LLM 模型能力基本持平。

尽管 Bloomberg GPT 的模型参数相较于 GPT-3 较小，但分析师表示，依托彭博社的大量金融数据源，Bloomberg GPT 在预训练中获得了大量高质量金融数据，并对预训练数据进行了一系列的清洗、标注，Bloomberg GPT 在通用能力与 GPT-3 基本持平的情况下，实现了金融垂直能力的大幅增强。

开拓开源模型 + 垂直数据的 LLM 新思路

Bloomberg GPT 在开发方式上有何独特之处？分析师认为，在模型构建上，Bloomberg GPT 显示出了卓越的创新，为国内金融数据公司开发大模型提供了有意义的路径参考。

具体而言，主要体现在五个方面：

1）垂直领域语言模型：过去的大语言模型多为基于通用文本训练的通用模型，垂直领域模型多为仅基于垂直领域数据训练垂直模型，Bloomberg GPT 开创了通用 + 垂直的混合训练方法，让模型兼具通用性与专业性；

2）训练数据：过去的大语言模型的预训练数据很大程度上依赖于网页抓取数据，如 C4、ThePile、Wikipedia 等，Bloomberg 自建了高质量的大规模金融数据集；

3）模型评估：Bloomberg 在对模型进行了公共、金融 NLP 基准测试之外，还对模型进行了一系列基于 Bloomberg 内部任务的性能测试；

4）Token 化（Tokenizer）：将训练文本 Token 化是模型训练的关键步骤，Bloomberg 使用 Unigram 模型取代 greedymerge-basedsub-word 模型，实现更智能的 token 化转换；

5）模型构建方法：以 GPT-3、GPT-4 为代表的大语言模型均由大型的专业人工智能团队开发，并且模型训练需要大量算力；受益于开源模型 BLOOM 的项目实践与 Bloomberg 在垂直领域高质量数据的深厚积累，Bloomberg GPT 成功证明了一个中等规模的团队可以在垂直领域的特定数据上生产同样具有竞争力的大语言模型。

金融 GPT 未来可期

分析师认为，Bloomberg GPT 未来有望应用于以下三大场景：

1）Bloomberg 查询语言的生成：Bloomberg GPT 可以将用户自然语言查询转换为有效的 Bloomberg 查询语言，使与金融数据的交互更加自然；

2）新闻标题的建议：Bloomberg GPT 可以为 Bloomberg 的新闻应用程序提供支持，协助新闻工作者完成新闻短标题的撰写；

3）金融问答：得益于金融垂直领域知识的输入，Bloomberg GPT 可以更加准确地回答金融相关的问题，例如在识别公司 CEO 的问答上，Bloomberg GPT 的回答相较通用模型更为准确。

分析师指出，作为并非聚焦人工智金融垂直领域厂商，Bloomberg 为金融 GPT 发展提供了具有参考价值的有益示范。

掌握丰富的金融垂直知识与现有 AI 产品布局，基于高质量的金融数据与开源的大语言模型，同样有机会打造专属金融场景的大语言模型，实现大语言模型在金融场景的有效落地，让大语言模型成为底层的 AI 操作系统。

本文主要观点来自华泰证券分析师谢春生（执业：S0570519080006）撰写的报告《从 BloombergGPT 看金融 GPT 机遇》，有删节