AI科技大本营|Gary Marcus:因果熵理论的荒诞和认知科学带给AI的11个启示 | 文末赠书( 六 )
以动词及其过去时形式为例 , 这是一个看似普通的系统 , 史蒂芬 · 平克曾将其称为语言学中的果蝇 , 因为这是一个简单的“模型有机体” , 可以让我们从中学到很多东西 。 在英语和许多其他语言中 , 一些动词利用 简 单 的 规 则 来 构 成 过 去 时 ,如 walk–walked、talk–talked、perambulate–perambulated , 等等;还有一些动词的过去时不遵守规则 , 如 sing–sang、ring–rang、bring–brought、go–went , 等等 。 马库斯在跟随平克读博士时 , 研究重点就是儿童的过度规则化错误 , 在这种错误中 , 不规则动词被孩子们当作规则动词来处理 , 例如将 broke 说成 breaked , 将 went 说成 goed 。 数据分析的基础上 , 马库斯和平克提出了混合模型理论 。 该理论指出了微观层面上的一点点小结构:规则动词利用规则泛化来改变时态 , 就像计算机程序和经典 AI 中一样 , 而不规则动词通过联想网络来改变时态 , 这基本相当于深度学习的前身 。 这两种不同的系统共存互补:非规则性需要利用记忆(内存)能力 , 而规则性即使在几乎没有直接相关数据可用的情况下也能进行泛化 。
同样 , 大脑也利用几种不同的模式来处理概念 , 利用定义 , 利用典型特征 , 或利用关键示例 。 我们经常会同时关注某个类别的特征是什么 , 以及为了令其满足某种形式的标准 , 必须符合什么条件 。 蒂娜 · 特纳奶奶穿着超短裙翩翩起舞 。 她可能看起来不像一位典型的老奶奶 , 但她能很好地满足关系上的定义:她有孩子 , 而且她的孩子也有孩子 。
AI 面临的一个关键挑战 , 就是在捕捉抽象事实的机制(绝大多数哺乳动物是胎生)和处理这个世界不可避免的异常情况的机制(鸭嘴兽这种哺乳动物会产卵)之间 , 寻求相对的平衡 。 通用人工智能既需要能识别图像的深度学习机制 , 也需要能进行推理和概括的机制 , 这种机制更接近于经典人工智能的机制以及规则和抽象的世界 。
杰米斯 · 哈萨比斯最近讲道:“真正的智能远远不只是深度学习所擅长的感知分类 , 我们必须对其进行重新组合 , 形成更高级的思考和符号推理 , 也就是 20 世纪 80 年代经典人工智能试图解决的那些问题 。 ”33 要获得适用范围更广的 AI , 我们必须将许多不同的工具组织在一起 , 有些是老旧的 , 有些是崭新的 , 还有一些是我们尚未发现的 。
人类思想和语言是由成分组成的
在乔姆斯基看来 , 语言的本质 , 用更早期的一位语言学家威廉 · 冯 · 洪堡(Wilhelm von Humboldt)的话来说 , 就是“有限方法的无限使用” 。 借有限的大脑和有限的语言数据 , 我们创造出了一种语法 , 能让我们说出并理解无限的句子 , 在许多情况下 , 我们可以用更小的成分构造出更大的句子 , 比如用单词和短语组成上面这句话 。 如果我们说 , “水手爱上了那个女孩” , 那么我们就可以将这句话作为组成要素 , 用在更大的句子之中 , “玛丽亚想象水手爱上了那个女孩” , 而这个更大的句子还可以作为组成要素 , 用在还要大的句子之中“克里斯写了一篇关于玛丽亚想象水手爱上了那个女孩的文章” , 以这样的方式接着类推 , 每一句话我们都可以轻松理解 。
与之相对的 , 是神经网络先驱学者杰弗里·欣顿 。 欣顿在其研究领域中的地位 , 和乔姆斯基在语言学领域的地位一样 , 他们都是高高在上的领导者 。 最近 , 欣顿一直在为他提出的“思维向量”而发声 。 向量就是一串数字 , 比如 [ 40 . 7128° N, 74 . 0060° W] , 这是纽约市的经纬度 , 或者 [ 52419 , 663268 , ......24230 , 97914 ] , 这是按字母顺序排列的美国各州的平方英里a 面积 。 在深度学习中 , 每个输入和输出都可以被描述为一个向量 , 网络中的每个“神经元”都为相关向量贡献一个数字 。 由此 , 许多年以来 , 机器学习领域的研究人员一直试图将单词以向量的形式进行编码 , 认为任何两个在意义上相似的单词都应该使用相似的向量编码 。 如果“猫”被编码为[0,1 , –0.3 , 0.3] , 那么“狗”可能就会被编码为 [0,1 , –0.35 , 0.25] 。 伊利亚·苏茨科弗和托马斯·米科洛弗(Tomas Mikolov)当年在谷歌时 , 开发了一门叫作 Word 2 Vec 的技术 , 允许计算机高效、迅速地以词汇附近经常出现的文本为基础 , 给出这类词汇的向量 , 其中每一个词汇的向量都由数百个真实的数字构成。
推荐阅读
- 龙蟠科技|牛回头?快来玩?我先卖
- 小娜爱科技|“武将”初亮相已经燃炸,谁才是最强舞担!
- 汝芊爱科技|可甜可酷!关晓彤深夜出发参加时装周,小露香肩比剪刀手超可爱
- 5-10万|始于颜值,终于科技,与欧尚X7一见钟情
- 环球车讯网|喜欢这台科技感十足的SUV?别忙出手~先看养车贵不贵
- |起亚全新K5国产版首拍,空间更大/配科技联屏,9月就能买!
- 汽车市场|本田将收购安培科技1%股份 合作开发电动汽车电池
- 文德说科技|为什么郑伊健一把年纪,还留“大妈头”?看看他短发照就明白了
- 装修|尊宅科技木整装做您环保装修路上的贴身管家
- 机械|原创科幻小说 | 陈秋汛:单人科技时代