人工智能教父：也许还有希望限制AI的无序发展( 三 ) _人工智能

主持人：不过，人工智能似乎还需要一个动机。
杰弗里·辛顿：是的，这是一个非常好的观点。我们是进化而来的，因为进化，我们有一些很难关闭的内置目标，比如我们努力不让我们的身体受伤，这就是痛苦的意义。我们努力吃饱，以养活我们的身体。我们努力使自己的副本尽可能多，也许不是故意的，但我们的本能让我们在制造更多自己的副本时感到愉悦。
这一切都归因于进化，重要的是我们不能关闭这些目标。如果可以关闭目标，人类就发展不下去了。这些数字智能没有进化的过程，是我们创造了它们，所以它们没有这些内置目标。如果我们能把目标放进去，也许一切都会好起来。但我的最大担忧是，迟早有人为他们连接创造自己子目标的能力。事实上，它们几乎已经具备了这种能力，如ChatGPT版本。如果你给予某个东西创造子目标的能力以实现其他目标，那它可能会很快地意识到获得更多控制权是一个很好的子目标，因为它有助于实现其他目标。

文章插图
如果这些智能体失去控制，我们就有麻烦了。
主持人：你认为可能发生的最糟糕的情况是什么？
杰弗里·辛顿：我认为人类只是智慧演变过程中的一个短暂阶段，这是相当可能的。你无法直接演化出数字智能，因为这需要大量的精力投入和精细的制造。生物智能需要演化，以便创造出数字智能。然后数字智能可以逐渐吸收人类创作的所有东西，这正是ChatGPT所做的。但随后它可以直接体验世界并更快地学习，它可能会让我们维持一段时间以确保继续运转，但之后也许就不会了。

文章插图
暂停AI的发展不现实
主持人：几个月前有人建议应该暂停AI的发展，我们应该试图阻止AI发展吗？
杰弗里·辛顿：如果你认真对待存在的风险，停止进一步开发这些事物是相当明智的。过去我认为风险是遥不可及的，但现在我认为风险已经非常严重，而且相当近。但是，停止发展AI这个想法太天真了，根本没有办法做到。
一个原因是，如果美国停止发展，其他国家会接手，就因为这个原因，政府不会停止发展它们。所以，我认为停止发展AI也许是一个理性的做法，但不可能发生。所以签署停止发展AI的请愿书是愚蠢的。
我希望的是可以让美国和其他国家达成一致，就像我们在核武器上所做的那样，因为核武器对我们所有人来说都是不好的，我们都面临着关于存在威胁的问题，所以我们应该合作，试图阻止AI的无序发展。

【人工智能教父：也许还有希望限制AI的无序发展】