人工智能的黎明：从信息动力学的角度看ChatGPT( 三 ) _小知识

作为一个例子，我让ChatGPT猜想未来量子引力的研究可能有哪些意想不到的突破，下面是它给我的一个答案。虽然这不能说是什么特别令人激动的想法，但猜测的方向是有一定道理的。可以说ChatGPT在开脑洞方面的能力并不弱于人类，甚至可能因为它渊博的知识而强于人类，但它的问题在于不能从很多的想法中去自行验证哪个方向更可行和准确。

文章插图
图 2 ChatGPT对于量子引力研究方面发挥想象力的一个示例。
AI能否真正学会思考？
说到ChatGPT无法区分正确与错误的弱点，我们就可以来讨论一下今天的语言模型和人类之间最本质的差别是什么。换句话说，GPT-4和通用人工智能（Artificial General Intelligence, AGI）的本质差距在哪里。
丹尼尔·卡尼曼在《思考，快与慢》[4]这本书中指出，人类的思维活动有两套系统。系统1是我们的快速、直觉式、自动、无意识的思维方式。它处理日常生活中的大部分任务，如识别物体、表情、语言理解和做出简单的决策。系统1常常以经验为基础，通过关联和模式识别来实现快速决策。然而，这种快速决策往往容易受到认知偏差的影响。系统2是我们的缓慢、分析式、有意识的思维方式。这个系统需要更多的注意力和努力来运作，因为它负责处理复杂的问题、逻辑推理、规划和长期决策。系统2可以纠正系统1的错误，但它的运作速度较慢。今天的大语言模型本质上是系统1的模拟，它根据输入的文字直接按照一个概率分布来输出文字，这很像是人类凭直觉作出判断时的操作。比如一个数学运算，GPT-4可以根据你的指令，给出推导过程，但是如果你直接让它给出结果，它并不是自己在“脑中”进行这个推导过程再给出结果，而是直接凭“直觉”给出结果的。这就是为什么在给GPT-4下达“写出推导过程”的指令时，它的计算准确率会明显提高[5,6] 。从这个例子我们可以看出，GPT-4已经懂得运用语言，但它只是用语言跟人类交流，而没有用语言来思考。用语言来思考，就是系统2和系统1的最主要差别。

文章插图
图 3 具有系统1（直觉判断）和系统2（用语言思考）的人工智能系统的简单示意图。
要想让语言模型学会思考，需要两个前提：
（1）它需要有长期记忆。现在的GPT-4对于对话的上下文会有一定的记忆，但在开始一个新的对话时这些记忆就清除了。它虽然“记得”大量的知识，但那些并不是在对话中获得的记忆。如果和人类类比，GPT的知识更像是人类先天自带的能力，例如婴儿知道哭和吃奶。如果想让语言模型能够像人类一样在经验中学习，首先必须让它对于自己的历史有长期的记忆。
（2）语言模型要能够对于长期记忆进行处理，吸取经验为自己所用。人类如果一道数学题做错了，学到正确解法之后就会改正，因为正确解法已经存在记忆里，并且知道在下次遇到类似问题的时候调用出来，而GPT虽然也会改正错误，下次却仍然会再犯[6]，除非通过进一步的训练来改变模型的参数。
最近已经有一些研究工作尝试为语言模型加上长期记忆和调用记忆的能力。例如[7]提出了一种名为reflexion的架构，将GPT尝试解决一个问题的过程记录下来并且让另一个语言模型进行“反思”，根据反思的结果告诉GPT下次如何改进。在一些任务上这个架构可以将成功率提高30% 。在另外一个工作[8]中，作者设计了25个人工智能角色的虚拟小镇，每个角色都有他们的不同人物设定和记忆。比如两个人第一次见面，会在记忆中留下记录，下一次见面时就会记得之前见过。在遇到一个新的事件时，一个角色会从自己记忆中搜寻最可能与此相关的记忆，作为参考来决定当前的行为。这样的架构使得多个角色之间的复杂互动（例如聚在一起办一场生日庆祝会）成为可能。
最近一个很流行的程序autoGPT[9]，让GPT对于给定的复杂任务先列出计划，然后调用用户电脑上的各种资源去一步步执行。所有这些努力的方向都是让人工智能拥有像人类一样的系统2，具有自己的“心理活动”并且能够在情境中不断学习进步。拥有系统1和系统2的人工智能的结构可以用图3来简单概括。我认为在这方面近期内就会有非常快的进展，因为从复杂性的角度来看，这样的系统2的信息处理复杂度，并不显著高于现有语言模型的系统1 。