<img id="edit_6253366" src="https://imageproxy.pbkrs.com/https://images.tmtpost.com/uploads/images/2023/04/5e052a1245d268dcf2c1177c74c5735e_1682697436.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" alt="" width="1093" height="689" original-src="https://imageproxy.pbkrs.com/https://images.tmtpost.com/uploads/images/2023/04/5e052a1245d268dcf2c1177c74c5735e_1682697436.png"/>图片来源 @视觉中国<blockquote>文 | 脑极体</blockquote>听说最近 AI 大厂的开发人员和高校的 NLP 研究人员，都在琢磨，怎么让大模型 “涌现”。那画面莫名就让我想到了程序员给服务器上香来保佑不宕机，都有种求诸于天的玄学。所谓 “涌现”，在大模型领域指的是当模型突破某个规模时，性能显著提升，表现出让人惊艳、意想不到的能力。比如语言理解能力、生成能力、逻辑推理能力等。一般来说，模型在 100 亿到 1000 亿参数区间，可能产生能力涌现。但老话说得好 “氪不救非，玄不改命”。靠砸钱和运气，只一味把模型做的大大大，也未必能让 AI“显灵”。强大的逻辑推理是大语言模型 “智能涌现” 出的核心能力之一，好像 AI 有了人的意识一样。而推理能力的关键，在于一个技术——思维链（Chain of Thought，CoT）。大家如果看过类 GPT 应用的翻车问题，会发现大多都是数学算术题、逻辑思考题等，这类需要精确推理的问题，而这正是思维链能够重点解决的。现在训练大语言模型的企业和机构很多，但能够训练出思维链并应用的很少。换句话说，只有解锁了思维链技术，大语言模型才有可能 “涌现”，才能在 “大炼模型” 的竞争中具备能力优势。思维链的故事，我们从一个奇男子说起。<h2>一个神奇的男子</h2>思维链，在人工智能领域，是一个非常非常新的概念。2022 年 1 月，它的相关论文才被放到 arxiv 上，成果也特别惊艳，谷歌在当年五月的年度开发者大会 Google I/O 2022，也对思维链这一研究成果进行了宣传。当时同台宣传的还有大模型 PaLM 和 Pixel 系列手机等。你可能发现了华点，怎么让思维链闻名世界的，却变成了 OpenAI 的 ChatGPT 呢？这就要提到一个奇男子——思维链的提出者 Jason Wei。之所以神奇，一是本人能力卓绝。这位华人科学家，2020 年本科毕业成为谷歌大脑的高级研究员，在任职期间，提出了思维链的概念，发现思维链可以在大语言模型中增强推理能力。<img src="https://imageproxy.pbkrs.com/https://images.tmtpost.com/uploads/images/2023/04/81371f673e8f1e0d6411957ee9ba69de_1682697436.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1080" height="620" original-src="https://imageproxy.pbkrs.com/https://images.tmtpost.com/uploads/images/2023/04/81371f673e8f1e0d6411957ee9ba69de_1682697436.png"/>（Jason Wei 的个人博客 www.jasonwei.net）二是他的个人际遇，对 AI 影响很大，2022 年 2 月他离开谷歌，加入了 OpenAI，进入 ChatGPT 团队，这也是思维链在 OpenAI 发扬光大，让 ChatGPT 拔得头筹的原因之一。那这位奇男子和同事的工作，究竟干了什么呢？<img src="https://imageproxy.pbkrs.com/https://images.tmtpost.com/uploads/images/2023/04/adcbf96594ce8ce01593d27162d8c640_1682697436.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="699" height="304" original-src="https://imageproxy.pbkrs.com/https://images.tmtpost.com/uploads/images/2023/04/adcbf96594ce8ce01593d27162d8c640_1682697436.png"/>谷歌之前在大模型下了很大功夫，GPT 生成式预训练模型中的 “T”，也就是 Transformer，就是谷歌大脑搞出来的。但是，预训练 + 精调的大模型搞了几年，仍然没办法很好地完成多步骤推理任务，比如数学问题和常识推理。所以 Jason Wei 等人提出了思维链提示的方法，真的一下子就让大模型的逻辑推理能力不一样了。具体来说，有三个不一样：1.常识推理能力赶超人类。以前的语言模型，在很多挑战性任务上都达不到人类水平，而采用思维链提示的大语言模型，在 Bench Hard(BBH) 评测基准的 23 个任务中，有 17 个任务的表现都优于人类基线。比如常识推理中会包括对身体和互动的理解，而在运动理解 sports understanding 方面，思维链的表现就超过了运动爱好者（95% vs 84%）。<img src="https://imageproxy.pbkrs.com/https://images.tmtpost.com/uploads/images/2023/04/2151bb9fed36512a98f809dc3d09e738_1682697436.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="675" height="537" original-src="https://imageproxy.pbkrs.com/https://images.tmtpost.com/uploads/images/2023/04/2151bb9fed36512a98f809dc3d09e738_1682697436.png"/>（思想链被高亮显示）2.数学逻辑推理大幅提升。一般来说，语言模型在算术推理任务上的表现不太好，而应用了思维链之后，大语言模型的逻辑推理能力突飞猛进。MultiArith 和 GSM8K 这两个数据集，测试的是语言模型解决数学问题的能力，而通过思维链提示，PaLM 这个大语言模型比传统提示学习的性能提高了 300%！在 MultiArith 和 GSM8K 上的表现提升巨大，甚至超过了有监督学习的最优表现。 这意味着，大语言模型也可以解决那些需要精确的、分步骤计算的复杂数学问题了。<img src="https://imageproxy.pbkrs.com/https://images.tmtpost.com/uploads/images/2023/04/81f6ab861364d08665c7b1639b194167_1682697437.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="480" height="411" original-src="https://imageproxy.pbkrs.com/https://images.tmtpost.com/uploads/images/2023/04/81f6ab861364d08665c7b1639b194167_1682697437.png"/>3.大语言模型更具可解释性，更加可信。我们知道超大规模的无监督深度学习，打造出来的大模型是一个黑盒，推理决策链不可知，这就会让模型结果变得不够可信。而思维链将一个逻辑推理问题，分解成了多个步骤，来一步步进行，这样生成的结果就有着更加清晰的逻辑链路，提供了一定的可解释性，让人知道答案是怎么来的。Jason Wei 这位奇男子提出的思维链，可以说是大语言模型惊艳世界的必要条件。<h2>一句神奇的咒语</h2>花式调戏大语言模型，有一句非常神奇的咒语，能让 LLM 的回答结果大不一样，那就是——“Let’s think step by step”。此前很多用户就发现，一旦在问题中加上 “Let’s think step by step”，ChatGPT 就好像被施了魔法，原本做错的数学题，突然就会做了；原本的胡说八道，突然就有理有据了。这就是思维链的魔力。<img src="https://imageproxy.pbkrs.com/https://images.tmtpost.com/uploads/images/2023/04/f7482a50d6ff7950ebf9c02a14f4ad32_1682697437.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1080" height="284" original-src="https://imageproxy.pbkrs.com/https://images.tmtpost.com/uploads/images/2023/04/f7482a50d6ff7950ebf9c02a14f4ad32_1682697437.png"/> 思维链 (Chain-of-thought，CoT)，指的是一系列有逻辑关系的思考步骤，形成一个完整的思考过程。人在日常生活中，随时随地都会用思维链来解决问题，比如工作、读书经常用到的思维导图，就是为了尽可能全面拆解步骤，不忽略重要细节，从而充分地考虑问题。这种步骤分解的方式用在提示学习中，就被称为思维链提示，将大语言模型的推理过程，分解成一个个步骤，直观地展现出来，这样开发人员可以在 LLM 推理出现错误时，就及时地修复。相当于让 AI 做分析题，而不是 “填空题”，要把推理过程详细说清楚，按步骤得分，最后给出答案。Jason Wei 等在 2022 年的论文中，展示了标准提示学习和思维链提示的不同之处：<img src="https://imageproxy.pbkrs.com/https://images.tmtpost.com/uploads/images/2023/04/1f88cbe1584f2ee95a12bdcb292e9bcd_1682697437.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1080" height="532" original-src="https://imageproxy.pbkrs.com/https://images.tmtpost.com/uploads/images/2023/04/1f88cbe1584f2ee95a12bdcb292e9bcd_1682697437.png"/>可以看到，类似的算术题，思维链提示会在给出答案之前，还会自动给出推理步骤：“罗杰先有 5 个球，2 罐 3 个网球等于 6 个，5 + 6 = 11”“食堂原来有 23 个苹果，用 20 个做午餐，23-20=3；又买了 6 个苹果，3+6=9”。思维链提示给出了正确答案，而直接报答案的传统提示学习，给出的答案就是错的，连小学程度的加减法都做不好。简单来说，语言模型很难将所有的语义直接转化为一个方程，因为这是一个更加复杂的思考过程，但可以通过中间步骤，来更好地推理问题的每个部分。思维链提示，就是把一个多步骤推理问题，分解成很多个中间步骤，分配给更多的计算量，生成更多的 token，再把这些答案拼接在一起进行求解。 <img src="https://imageproxy.pbkrs.com/https://images.tmtpost.com/uploads/images/2023/04/4f62c82a079464d54802722ab265b090_1682697437.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="714" height="162" original-src="https://imageproxy.pbkrs.com/https://images.tmtpost.com/uploads/images/2023/04/4f62c82a079464d54802722ab265b090_1682697437.png"/>再举个例子，大家都特别希望有一个全能家政机器人，但目前的机器人看起来都挺傻的，只能执行一些很简单的开关灯指令。如果用户问：“我把可乐洒在桌子上了，你能把它扔掉，然后拿点东西来帮我清理吗？”机器人该怎么办呢？这时候有思维链的语言模型，会分析问题：用户把可乐洒在桌子上了。我会把它扔掉，然后给用户一块海绵。拆解步骤：找 (可乐)，拣 (可乐)，找 (垃圾)，扔 (可乐)，找 (海绵)，拣 (海绵)，找 (桌子)，放 (海绵)。总的来说，思维链就相当于让大语言模型做 “因式分解”，把一个复杂的推理问题进行拆解，逐步解决，自然也就更容易得到高质量的答案了。<h2>一个打破僵局的灵</h2>你可能会问，大语言模型 “智能涌现”，思维链是必须的吗？目前阶段，确实。因为，预训练的大语言模型参数规模巨大，很容易被不相关的上下文分散注意力，影响性能表现，相当于学生上课走神了，被老师叫起来回答问题只能胡言乱语。这时候就需要提示学习（Prompt Learning）来进行微调，相当于旁边有人给提了个醒，更好地完成下游任务。<img src="https://imageproxy.pbkrs.com/https://images.tmtpost.com/uploads/images/2023/04/9ba2c8cc26cfbd73422acb10087ab62e_1682697438.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="480" height="351" original-src="https://imageproxy.pbkrs.com/https://images.tmtpost.com/uploads/images/2023/04/9ba2c8cc26cfbd73422acb10087ab62e_1682697438.png"/>但离散式的硬提示（Discrete Prompt），需要人为设计提示词 prompt，而人类觉得不错的提示词，语言模型却不一定觉得好，最后还是回答的一塌糊涂，而且，离散的 token 作为提示词，优化难度也特别大。所以，连续化的软提示（Continuous Prompt），限制了模型参数不被调整，直接优化低维向量，这样就可以用较小的微调来提升模型性能。这个方法省事儿，效果也不错，但一直走这条路还是没办法让语言模型搞懂逻辑推理。思维链的提出，用的是离散式的 token，又能自动构建问题、推理步骤和样例，这就解决了离散提示人工设计难的问题，而且还能让语言模型拥有可解释性。所以说，思维链 promoting，可以算是打破了大语言模型能力僵局的神来之笔。有时候技术的突破靠的就是一个灵感，而造就这个灵感的人才机制、创新环境、组织模式等，却需要漫长的时间去培育。<h2>一些待解的问题</h2>说了这么多，是不是有了思维链，大语言模型就所向披靡了呢？照这么发展下去，真能媲美人类的能力了？大可不必担心，思维链本身还是有很多局限的，而它的局限也是大语言模型的局限。首先，思维链必须在模型规模足够大时才能涌现。在 Jason Wei 等的研究中，PaLM 在扩展到 540B 参数时，与思维链提示结合，才表现出了先进的性能。一些小规模模型，思维链并没有太大的影响，能力提升也不会很大。谷歌大脑的研究人员认为，策略问题需要大量的世界知识，而小型模型没有足够的参数来记忆这些世界知识，所以也不太可能产生正确的推理步骤。但问题是，能落地到产业的模型，规模必然不会太大，思维链拆解了更多的步骤、用到更多的计算资源，相当于更加耗费脑力，很多研究机构和企业是负担不起 175B 参数以上的大模型。所以思维链必须要探索，如何在较小的模型中进行推理，降低实际应用的成本。<img src="https://imageproxy.pbkrs.com/https://images.tmtpost.com/uploads/images/2023/04/433ba162c85148ffdbc2137cea3819bd_1682697438.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="549" height="228" original-src="https://imageproxy.pbkrs.com/https://images.tmtpost.com/uploads/images/2023/04/433ba162c85148ffdbc2137cea3819bd_1682697438.png"/>（62B 比 540B 的语言模型更容易出错）其次，思维链的应用领域是有限的。目前，思维链只是在一些有限的领域，比如数学问题，五个常识推理基准（CommonsenseQA，StrategyQA，Date Understanding 和 Sports Understanding 以及 SayCan）上显现出作用，其他类型的任务，像是机器翻译，性能提升效果还有待评估。而且，相关研究用到的模型（GPT-3 API）或数据集，都是半公开或不公开的，这就使其难以被复现和验证。严谨来看，思维链的效果还需要被进一步探索，才能下定论。<img src="https://imageproxy.pbkrs.com/https://images.tmtpost.com/uploads/images/2023/04/350fcbe5db96f6da1778684354470683_1682697438.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="301" height="234" original-src="https://imageproxy.pbkrs.com/https://images.tmtpost.com/uploads/images/2023/04/350fcbe5db96f6da1778684354470683_1682697438.png"/>此外，即使有思维链提示，大语言模型依然不能解决小学水平的数学问题。没有思维链，数学推理是指定不行。但有了思维链，大语言模型也可能出现错误推理，尤其是非常简单的计算错误。Jason Wei 等的论文中，曾展示过在 GSM8K 的一个子集中，大语言模型出现了 8% 的计算错误，比如 6 * 13 = 68（正确答案是 78）。这说明，即使有了思维链，大语言模型还是没有真正理解数学逻辑，不知道加减乘除的真实意义，只是通过更精细的叠加来 “照葫芦画瓢”，所以，对于有精确要求的任务，还要进一步探索新的技术。思维链确实增强了大语言模型的能力，但逻辑推理仍然是大语言模型的弱项，等待着更多突破。<h2>One more thing</h2>通过思维链，我们可以看到大语言模型为什么强，也为什么弱。它强在，模型规模的提高，让语义理解、符号映射、连贯文本生成等能力跃升，从而让多步骤推理的思维链成为可能，带来 “智能涌现”。它弱在，即使大语言模型表现出了前所未有的能力，但思维链暴露了它，依然是鹦鹉学舌，而非真的产生了意识。认知心理学教授斯坦尼斯拉斯·迪昂（Stanislas Dehaene）在《精准学习》中提出，缓慢地、理智地、符号化地运作，是人脑的特权。它可以在任何可能的时候，提取具有普遍性、逻辑性的、明确的原则。五六岁的儿童学会了较小数字的加法，就可以理解其含义，用到更大的数字的加法中，而目前最强大的大语言模型，还连 “加法” 这个简单的抽象定律都理解不了。这么说，并不是让大家小看 AI 的能力，而是想说明，人脑和 AI，各有所长。大语言模型，正如科幻作家特德·姜所说，是网上所有文本的模糊图像，一张有损压缩的 JPEG，但它可以用远超人脑的算力和数据，极其高产地做好文本生成、图像生成这样的模糊任务。而人脑更擅长精确的、逻辑性的任务，就像特德·姜说的：“当你还有原始图片的时候，一张模糊的 JPEG 到底有多大用处呢？”智能时代的生存策略，就是不要以己之短，硬碰 AI 之长。而是用 AI 之长，让自己的长板变得更长；用人脑的精确，让 AI 生成的模糊答案变得更高质量；用好思维链提示，让 LLM 生成时事半功倍。《哈利波特》电影中，有一个 “有求必应屋”，里面全是人所需要的东西，海伦娜形容它：If you have to ask, you'll never know. If you know, you need only ask.如果你还需要问，就永远不会明白；如果你明白，你只需要开口问。有问必答的 AI 时代，是智者的天堂，也是愚者的地狱。永远不要让 AI 代替你思考。更多精彩内容，关注钛媒体微信号（ID：taimeiti），或者下载钛媒体 App

天灵灵地灵灵，大模型快 “显灵”。

大模型 “涌现” 的思维链，究竟是一种什么能力？