江苏龙网

  1. 主页 > 生活百科 > >

「AI教父」万字采访实录：AI航行的方向藏着巨大的冰山( 二 )

AI


A：这是我的个人观点 。
Q：但所有大型模型现在都使用一种叫做反向传播的技术，而这种技术是您帮助推广的 。
A：我认为大脑并不是在做这个 。有两条通往智能的不同道路 。一条是生物学途径，另一条是我们所拥有的模拟硬件途径 。我们必须用自然语言进行沟通，还要向人们展示如何做事情，模仿等 。
但我们在交流方面做得很糟糕，与现在运行在数字计算机上的计算机模型相比，我们的交流能力差得多 。计算机模型之间的沟通带宽非常大，因为它们是相同模型的克隆，运行在不同的计算机上 。
正因为如此，它们可以查看大量的数据，因为不同的计算机可以查看不同的数据，然后它们结合了它们所学到的东西，远远超出了任何人能够理解的范围 。尽管如此，我们仍然比它们聪明 。
Q：所以它们就像是天才白痴吗？
A：对，ChatGPT 知道的比任何一个人都多 。如果有一个关于知识量的比赛，它会轻松击败任何一个人 。它在智力竞赛中表现出色，可以写诗，但在推理方面并不擅长 。我们在推理方面做得更好 。我们必须从更少的数据中提取我们的知识 。
我们有 100 万亿个连接，其中大部分是通过学习得到的，但我们只活了十亿秒，这并不算很长的时间 。像 ChatGPT 这样的东西，它们在许多不同的计算机上运行了比我们更长的时间，吸收了所有这些数据 。
Q：1986 年，您在《自然》杂志上发表了一篇文章，提出了一个想法：我们将拥有一个由单词组成的句子，并预测最后一个单词 。
A：是的，那是第一个语言模型，基本上就是我们现在在做的事情 。1986 年是很久以前的事情了 。
Q：为什么那时候人们还没有说「哦，好吧，我认为他找到了方法」？
A：因为那时候，如果你问我用多少数据训练了那个模型，我有一个简单的家庭关系模型，有 112 个可能的句子，我用其中的 104 个进行了训练，然后检查它是否正确预测了最后 8 个 。
它在预测最后 8 个方面表现得相当好，比符号 AI 更好 。问题是那时候的计算机还不够强大 。现在的计算机速度快了数百万倍，可以进行数百万倍的计算 。我做了一个小计算，如果我拿 1986 年的计算机去学习一些东西，它现在仍在运行，但还没有完成 。现在，学习这些东西只需要几秒钟 。
Q：你知道这是你的制约因素吗？
A：我并不知道，但我相信那可能是我们的制约因素 。但人们对这样的说法嗤之以鼻，好像这是一个借口：「如果我有更大的计算机和更多的数据，一切都会好起来 。现在它不起作用是因为我们没有足够的数据和计算能力 。」这种观点被当作对事物无法正常运作的一种狡辩 。
Q：在 90 年代从事这项工作很困难吗？
A：在 90 年代，计算机在不断发展，但是那时确实有其他学习技术，在小型数据集上表现得和神经网络一样好，而且更容易解释，背后有更为复杂的数学理论 。
所以，在计算机科学领域，人们对神经网络失去了兴趣 。但在心理学领域，他们仍然对神经网络感兴趣，因为心理学家对人类可能如何学习感兴趣，这些其他技术甚至比反向传播还不合理 。
Q：这是您背景的一个有趣部分，您之所以投身于这个领域，并非因为对计算机感兴趣，而是因为对大脑感兴趣 。
A：是的，我原本对心理学感兴趣，后来我决定，如果不了解大脑，我们永远无法理解人类 。在 70 年代，有一种时髦的观点认为，你可以在不关心大脑的情况下做到这一点，但我觉得那是不可能的 。你必须了解大脑是如何运作的 。
Q：现在我们快进到 2000 年代，您回顾过去，是否认为有一个关键时刻，当时您觉得我们这一方将在这场争论中获胜？
A：大约在 2006 年，我们开始做所谓的深度学习 。在那之前，让具有多层表示的神经网络学会复杂事物一直很困难 。我们找到了更好的方法来实现这一点，更好的初始化网络的方法，称为预训练 。
在 ChatGPT 中，P 代表预训练 。T 代表变换器，G 代表生成 。实际上，是生成模型为神经网络提供了更好的预训练方法 。2006 年时，这个理念的种子已经埋下，到了 2009 年，我们已经研发出了比最好的语音识别器更好的东西，用与其他所有语音识别器不同的技术识别您说的哪个音素 。

「AI教父」万字采访实录：AI航行的方向藏着巨大的冰山

文章插图
Q：那么 2012 年发生了什么大事呢？
A：实际上 2012 年发生了两件大事 。其中一项研究始于 2009 年，是由我的两名学生在暑假进行的，他们的研究成果导致了语音识别的改进 。


推荐阅读


上一篇：未来已来：AGI发展脉络与猜想

下一篇：自媒体必备的四款Al工具