Q4:有声音认为,ChatGPT是一个颠覆式的创新,它的颠覆性体现在哪?
A4:我个人觉得颠覆性其实体现在,它变成了一个可以直接面对用户的产品 。
以前大家做大模型的目的,第一是可以完成更多的自然语言处理任务,第二个是可以在每个细分的载源处理任务上可以去刷新,去达到更高的进度 。包括谷歌的大模型、微软的大模型,还有智源研究院的大模型 。
但是很少有人去站在用户的角度去想:我们是不是可以去做一个大家都可以用得起来的人工智能产品 。
以前所有的人工智能产品,比如小冰、小爱同学,或者是手机里边的图像处理、图像增强的算法也都是内嵌在其他产品里边的,并没有真正打包成一个完全的人工智能的产品去卖给用户 。
现在ChatGPT就是每个人都可以用得起来一个产品,大家都可以接受他能做到什么程度,而且它还可以接入更多人工智能的算法,包括图像和视频领域的算法 。
Q5:许多用户实测之后发现,ChatGPT在与人沟通上虽然已经相当地智能化,但有时“也会一本正经的胡说八道”,从技术角度上看,造成这一结果的原因是什么?
A5:主要原因是ChatGPT还不懂什么是“事实” 。
ChatGPT的训练过程第一步是预训练 。预训练是采用无监督训练的方法,也就是把网络上的数据包括其他的东西,交给它来进行自我训练 。
这造成的一个结果就是,它不知道这些东西哪一个是真的,哪一个是错误的 。
因为预训练模型是一个语言模型,它的主要目的是去了解人类的语言习惯,包括单词之间的构造关系,只要学足够多的文字语料,这些语义信息都是可以被抽取出来的 。
但是抽取出来的关于世界的常识,它自己是无法评判真实性的,需要人类来进行标注 。
下一步,如果它要变得更能分辨事实的话,就需要再加入很多关于世界常识的标注数据,人类需要对哪一些是真的世界常识去做标注 。
另外一个,它需要做一个记忆上更新,因为有很多事实是冲突的,随着时间的进程,某些事实和知识会发生变化,它需要不断更新 。
Q6:ChatGPT接下来应该在哪些方面做改进,来变得更为智能?
A6:这个还是要从智能本身的定义来想,什么叫“智能”?
我一直觉得在这个领域里边没有一个普适的评价基准,去评价机器或者大语言模型本身的能力 。现在是根据每一个细分任务去评价它的准确度,但是准确度其实跟智能没有太大关系 。
要评价它是否智能就需要通过图灵测试,但是真正完备的图灵测试是实现不了的,因为它要求的是人与机器不断交互,这是一个无限长的过程,基本上无法实现 。
如果是限定时间内,人和机器的交互,其实是有可能会被机器骗过去的 。
比如,你和一个大语言模型聊5分钟,如果话题比较窄,可能你就会觉得它已经达到人类的标准了 。
但是如果你跟它聊得非常宽泛,把范围扩展到它未曾接触过的领域,或者你跟它聊大概一个月左右,你可能就会觉得它确实不是一个人 。
所以,如果是从标准的测试层面来说,现有的大语言模型应该都无法通过测试 。
Q7:像人脑一样去思考和创造,是否是科学界对ChatGPT定性的终极目标?
A7:大方向上是朝着“人脑”这个方向努力的,但是在真正的研究过程中其实反而没想这么多 。
比如,在ChatGPT的研究过程中,最开始的时候机器是需要人的提示的,你需要给它一个例子,它会按照这个例子把你想要的内容生成出来,但是现在已经演变到你直接给它下命令,它就能生成的程度 。
所以,实际上它确实是在朝着一个既定的目标去研究的,但是这个既定目标可能并不一定是为了更智能,也可能是为了让它变得更容易使用 。
Q8:人类随年龄越长越充满智慧,ChatGPT也会随着年限增长,变得更聪明吗?
A8:我觉得这个不一定,因为知识是需要更新的 。
人类大脑有一个遗忘的功能,这非常重要,因为大脑的储存容量是有限的,现在我们每天都会接收到很多的信息,从视觉、听觉、嗅觉,包括皮肤都可以接受到非常细微的刺激 。
人类的大脑有注意力机制和遗忘机制,我们会注意到我们感兴趣的信息,也会遗忘掉很多细节信息 。这两个机制保证了人类大脑不会被过多的信息冲垮 。
对于大语言模型来说,现在注意力机制已经有了,但遗忘机制还没有 。
现在的大语言模型还只是一个“新生”的阶段,它的训练并不是像我们人类在现实生活中实时训练,而是在训练之后使用一段时间,然后再更新、再训练 。
推荐阅读
- 一个能“干掉” ChatGPT 的应用「GitHub 热点速览」
- 研究称ChatGPT可以取代AI训练师
- ChatGPT玩数据分析到底多可怕?
- 训练一次ChatGPT,“折寿”3000辆特斯拉
- ChatGPT之父承认GPT-5并不存在,为什么OpenAI总是这么实诚?
- GPT冲击了哪些科技从业者的饭碗?程序员较“惨” 创意类、知识类从业者受益
- 揭秘OpenAI“红军”:聘请专家攻击ChatGPT 解决技术伦理问题
- OpenAI官方教程:如何解决GPT无法处理长文本和最新数据的问题
- 我们和OpenAI联创聊了聊GPT的当下局限:两年后可能就没了
- 如何在自己的电脑里搭建chatGPT