江苏龙网

  1. 首页 > 生活 > >

机器之心Pro|73岁Hinton老爷子构思下一代神经网络：属于无监督对比学习


北京联盟_本文原题：73岁Hinton老爷子构思下一代神经网络：属于无监督对比学习
编辑：魔王、杜伟
在近期举行的第 43 届国际信息检索年会 (ACM SIGIR2020) 上 ， Geoffrey Hinton 做了主题为《The Next Generation of Neural Networks》的报告 。
Geoffrey Hinton 是谷歌副总裁、工程研究员 ， 也是 Vector Institute 的首席科学顾问、多伦多大学 Emeritus 荣誉教授 。 2018 年 ， 他与 Yoshua Bengio、Yann LeCun 因对深度学习领域做出的巨大贡献而共同获得图灵奖 。
自 20 世纪 80 年代开始 ， Geoffrey Hinton 就开始提倡使用机器学习方法进行人工智能研究 ， 他希望通过人脑运作方式探索机器学习系统 。 受人脑的启发 ， 他和其他研究者提出了「人工神经网络」（artificial neural network） ， 为机器学习研究奠定了基石 。
那么 ， 30 多年过去 ， 神经网络的未来发展方向在哪里呢？
Hinton 在此次报告中 回顾了神经网络的发展历程 ， 并表示下一代神经网络将属于无监督对比学习 。
Hinton 的报告主要内容如下：
人工神经网络最重要的待解难题是：如何像大脑一样高效执行无监督学习 。
目前 ， 无监督学习主要有两类方法 。
第一类的典型代表是 BERT 和变分自编码器（VAE） ， 它们使用深度神经网络重建输入 。 但这类方法无法很好地处理图像问题 ， 因为网络最深层需要编码图像的细节 。
另一类方法由 Becker 和 Hinton 于 1992 年提出 ， 即对一个深度神经网络训练两个副本 ， 这样在二者的输入是同一图像的两个不同剪裁版本时 ， 它们可以生成具备高度互信息的输出向量 。 这类方法的设计初衷是 ， 使表征脱离输入的不相关细节 。
Becker 和 Hinton 使用的优化互信息方法存在一定缺陷 ， 因此后来 Pacannaro 和 Hinton 用一个判别式目标替换了它 ， 在该目标中一个向量表征必须在多个向量表征中选择对应的一个 。
随着硬件的加速 ， 近期表征对比学习变得流行 ， 并被证明非常高效 ， 但它仍然存在一个主要缺陷：要想学习具备 N bits 互信息的表征向量对 ， 我们需要对比正确的对应向量和 2 N 个不正确的向量 。
在演讲中 ， Hinton 介绍了一种处理该问题的新型高效方式 。 此外 ， 他还介绍了实现大脑皮层感知学习的简单途径 。
接下来 ， 我们来看 Hinton 演讲的具体内容 。
为什么我们需要无监督学习？
在预测神经网络的未来发展之前 ， Hinton 首先回顾了神经网络的发展进程 。
演讲一开始 ， Hinton 先介绍了三种学习任务： 监督学习、强化学习和无监督学习 ， 并重点介绍了无监督学习的必要性 。
机器之心Pro|73岁Hinton老爷子构思下一代神经网络：属于无监督对比学习
本文插图

为什么我们需要无监督学习呢？
Hinton 从生物学的角度做出了诠释 。 他指出 ， 人类大脑有 10^14 个神经元突触 ， 而生命的长度仅有 10^9 秒 ， 因此人类无法完全依赖监督学习方式完成所有神经元训练 ， 因而需要无监督学习的辅助 。
受此启发 ， 构建智能模型也需要无监督学习 。
无监督学习的发展历程
无监督学习经过怎样的发展呢？Hinton 为我们介绍了无监督学习中的常见目标函数 。
机器之心Pro|73岁Hinton老爷子构思下一代神经网络：属于无监督对比学习
本文插图

紧接着 ， Hinton 详细介绍了自编码器 。
机器之心Pro|73岁Hinton老爷子构思下一代神经网络：属于无监督对比学习
本文插图

Hinton 表示 ， 自编码器是一种利用监督学习实现无监督学习的方式 ， 其目标是使最后的重建结果与数据相匹配 。 编码器将数据向量转换为代码 ， 解码器基于代码生成数据 。


推荐阅读


上一篇：地球|为什么地球上没能同时进化出两种以上的智慧生命？

下一篇：阿富汗奸细|【送票】蛙池/舒大卫/麦德山——为年轻气盛的自己