机器学习圣杯：图灵奖得主Bengio和LeCun称自监督学习可使AI达到人类智力水平
文章图片
新智元报道
来源：venturebeat等
编辑：梦佳、雅新
在2020的ICLR线上大会上 ， 蒙特利尔学习算法研究所主任、图灵奖得主YoshuaBengio和Facebook的副总裁兼首席人工智能科学家YannLeCun ， 坦率地谈到了未来AI的研究趋势 。
根据两位大咖的说法 ， 自我监督学习可能使AI产生类人的推理能力 。
自监督学习 ， 像人一样自觉观察世界
监督式学习需要在有标注的数据集上训练AI模型 ， 而LeCun认为随着自我监督学习的广泛应用 ， 这种训练模式的作用将逐渐减弱 。 自监督学习算法不再依赖标注 ， 而是通过揭示数据各部分之间的关系 ， 从数据中生成标签 。
文章图片
自监督学习是一种机器学习的「理想状态」 ， 重点在于如何自动生成数据标签 ， 这一步骤被认为对于实现人类水平的智能至关重要 。 举一个例子 ， 例如输入一张图片 ， 把图片随机旋转一个角度 ， 然后把旋转后的图片作为输入 ， 随机旋转的角度作为标签 。
很多网友比较关注的一个问题是 ， 自监督学习和无监督学习是一个意思吗？
文章图片
自监督类似无监督学习 ， 都是从没有明确标签的数据中进行学习 。 但无监督学习侧重于学习数据的内在关系、结构 ， 比如clustering、grouping、densityestimation,oranomalydetection等等 ， 而自监督是根据数据集本身生成标签 。
文章图片
为了进一步解释自监督学习 ， LeCun做了类比 ， 「不管是我们人类 ， 还是动物 ， 在学习大多数事物时 ， 都是在自我监督的模式下进行的 ， 而不是强化学习模式 。 这个模式本质上就是观察这个世界 ， 然后不断与之增进互动 ， 这种观察是自发的 ， 而不是在测试条件下完成的 。 」LeCun表示 ， 「这种学习方式 ， 比较难以用机器来复制 。 」
其中 ， 不确定性是阻碍自监督学习成功的主要障碍 。
文章图片
连续分布和离散分布
数据的分布是这样一个表 ， 它将变量所有可能的值与其出现的概率联系起来 。 在变量是离散的情况下 ， 它们可以很好地表示不确定性 ， 这就是为什么像GoogleBERT这样的架构如此成功 。 但目前 ， 研究人员尚未找到一种方法来有效地表示连续变量的分布 。
文章图片
在斯坦福对话问答数据集上测试时 ， BERT实现了93.2%的准确率 ， 分别优于最先进的机器学习水平和人类水平 。 斯坦福问答数据集是一个阅读理解的数据集 ， 包含了一组维基百科文章中提出的问题 。 在通用语言理解评估基准测试（一个用于培训和评估NLP系统的资源集合上 ， BERT的准确率达到了80.4% 。
解决连续分布问题
LeCun认为 ， 找到一种能表示连续分布的模型 ， 就会有新突破 。
Lecun指出 ， 连续分布问题的一个解决方案是利用基于能量的模型（EBM） ， 它能够学习数据集中的数学元素 ， 并生成类似的数据集 。
此前 ， OpenAI开发了一种基于能量的模型 ， 可以快速学会识别和生成概念 ， 例如附近 ， 上 ， 中 ， 最近和最远等 ， 并表示为2D点集 。 模型仅在五次演示后学习了这些概念 。
文章图片
从过去的研究中看 ， 这种形式的建模一直难以应用到实际当中 ， 但OpenAI2019年的研究表明 ， 这种基于能量的模型可以支持复杂的拓扑（topologies） 。
Bengio在研讨中表示 ， 他相信人工智能研究可以从神经科学领域受益颇多 ， 特别是意识和意识处理的探索方面 。 当然收益也是双向的 ， 一些神经科学家正在使用卷积神经网络作为视觉系统的腹侧通路 。
Bengio预测 ， 新的研究将阐明高级语义变量与大脑如何处理信息（包括视觉信息）之间的关系 。 而这些变量是人类语言交流所用的 ， 它们可能会衍生出新一代的深度学习模型 。
「通过与基础语言学习相结合 ， 我们可以取得很多进展 ， 归根结底我们都在打造能够理解这个世界的模型 ， 以及高层次的概念是如何相互关联的 。 这是一种联合式的分布 ， 」Bengio说 。 「我相信 ， 人类的意识处理过程 ， 利用的是有关世界如何变化的假设 ， 这些假设可以理解成为一种更高层次的表达方式 。 简单来讲 ， 就是我们看到世界的变化 ， 然后想到一句话来解释这种变化 。 」
达到人类智力的另一难题：背景知识
想要实现人类智力 ， 另一大难题就是背景知识 。 正如LeCun所解释的 ， 大多数人可以在30小时内学会驾驶汽车 ， 因为他们已经凭借直觉构建了一个关于汽车行动方式的物理模型 。 相比之下 ， 现在无人驾驶汽车所采用的强化学习模型要从零开始学起----他们必须犯上成千上万次的错误 ， 才能做出正确的操作 。
文章图片
LeCun表示 ， 「显然 ， 我们需要能够构建模型来学习世界 ， 这就是进行自监督学习的原因——运行预测世界模型 ， 能够让系统进行更快地学习 。 从概念上讲 ， 这相当简单 ， 除非是在那些我们无法完全预测的不确定环境中 。 」
LeCun认为 ， 想要实现通用人工智能（AGI） ， 就算有自监督学习和神经科学学习的加持 ， 也是不够的 。
通用人工智能（AGI）是指机器获得人类水平的智能 。 一些研究人员将通用人工智能称为强AI（strongAI）或者完全AI（fullAI） ， 或称机器具有执行通用智能行为（generalintelligentaction）的能力 。
他表示 ， 这是因为智力 ， 尤其是人类的智力 ， 是非常特殊的 。 「AGI是不存在的 ， 根本没有通用人工智能这回事 。 我们可以谈论老鼠水平的智力、猫的智力、狗的智力 ， 或者人类的智力 ， 但还根本谈不上通用人工智能 。 」LeCun说 。
文章图片
但是Bengio相信机器最终将习得关于这个世界的各种知识 ， 这个过程不需要机器去亲身体验 ， 而是通过习得可以语言化的知识来实现 。
「我认为这也是人类的一个巨大优势 ， 相比于其他动物来说 ， 」他说 。 「我认为 ， 人类之所以聪明 ， 是因为我们有我们自己的文化 ， 让我们能够解决这个世界的问题 。 要想让人工智能在现实世界中发挥作用 ， 我们需要它不仅仅是能够翻译的机器 ， 而是能够真正理解自然语言的机器 。 」
自监督学习是AI的未来
自监督学习背后的核心想法 ， 是开发一种深度学习系统 ， 可以通过学习填补AI未知的领域 。
文章图片
LeCun曾在今年四月份AAAI会议演讲中谈到 ， 「我认为自监督学习是AI的未来 。 这将使我们的AI系统 ， 深度学习系统更上一层楼 ， 或许AI可以通过观察获取有关世界足够多的背景知识 ， 从而形成一些基本常识 。 」
自我监督学习的主要好处之一是AI能够主动输出巨大的信息量 。 在强化学习中 ， 训练AI系统是在标量级别执行的 ， 模型会收到一个数值作为对其行为的奖励或惩罚 。 在监督学习中 ， AI系统为每个输入结果预测类别或数值 。
在自监督学习中 ， 输出结果将涉及到整个图像或是一组图像 ， 「自监督学习输出的信息量很大 。 要让AI学习相同量的有关世界的知识 ， 自监督学习需要的样本量也更少 。 」LeCun说 。
我们必须弄清楚不确定性问题是如何运作的 ， 当寻到解决方案时 ， 我们将会解锁AI未来的关键 。
LeCun说 ， 「如果说人工智能是一块蛋糕 ， 那么自监督学习就是其中最大的一块 。 」
参考链接：
【机器学习圣杯：图灵奖得主Bengio和LeCun称自监督学习可使AI达到人类智力水平】https://venturebeat.com/2020/05/02/yann-lecun-and-yoshua-bengio-self-supervised-learning-is-the-key-to-human-level-intelligence/
推荐阅读
- 波士顿动力的机器狗新工作上岗，竟是放羊
- 日本132万年轻人不工作不学习:不舍得舒适圈的人只能活得像尘埃
- 家长们要注意！孩子考试成绩出现这种情况，不及时纠正学习就毁了
- 青训中心集体学习2020年全国青少年体育工作会议领导讲话精神
- 山西省侯马市公安局组织党员民警赴彭真纪念馆参观学习
- 张子枫高考期间录《向往》，节目组特意摆了学习桌，全套五三太魔鬼
- 贯彻学习迎新规 亦庄置业在行动
- 国际美国为何不肯向其他国家学习？
- 电话销售机器人语音识别的原理
- 安阳市滑县发改委：学习先进经验 奋力赶超跨越