江苏龙网

  1. 首页 > 生活 > >

为何要采用深度学习技术

看这个slide, 很清楚的解释了为什么要用deep learning. http://nlp.stanford.edu/courses/NAACL2013/NAACL2013-Socher-Manning-DeepLearning.pdf
■网友
机器学习的目标就是为了能够更好的让机器像人一样解决问题。机器学习可以按照学习的程度分为：浅层学习和深度学习（参见余凯：深度学习的昨天、今天和明天）。从BP的出现，极大的改变了机器学习的现状，到90年代各种浅层学习算法的提出，推动了机器学习领域的发展。浅层学习对于特征的提取是有限的，最简单的一个例子，对于单层前馈神经网络，通过学习，能得到的特征信息就是一些简单的滤波器，如图是对于一副图像学习后的特征图：为何要采用深度学习技术
【为何要采用深度学习技术】
这些对于特征提取上也是只简单层面的提取，一些具有判别性的信息不能进行有效的提取。一些浅层的学习方法也是需要人为地去设计或者应用某些特征作为机器学习的输入，比如说，在图像上，可以用SIFT描述子作为输入，可以增加特征的判别性。深度学习自从06年由Hinton提出以后，机器学习的发展更是一发不可收。之前听一个大牛说过，深度学习提出以前，一般性的会议什么的，很少会通过和神经网络有关的文章，直到06年。深度学习的生物学理论基础是模仿人的视觉听觉等的感官信息进入大脑以后通过不同的皮层进行处理。多个隐层就相当于多个皮层，对于输入信息进行逐层的特征提取，并且往往在越高层，特征就会越抽象，如图和上面的特征图是来自同一张图片的不同隐层：为何要采用深度学习技术

第一幅图片是上面浅层学习的以后得到的纹理信息的特征图，第二幅是具有部件信息的特征图。并且深度学习在于自动提取特征上具有极大的优越性，也就是说，你的输入可以是原始数据，让深度网络自己去提取特征而不用人为地设计特征。深度学习的贡献到现在仍然是巨大的。从12年Hinton和他的学生将Image竞赛的成绩提升了11个点，到现在各种竞赛的前几名都是深度网络，已经证明了在学术和工业上不可取代的位置。深度学习作为现在机器学习的方法，从特征提取的自适应性，到结果的高准确性，已经很好的取代了浅层学习在各种问题上的解决。
■网友
人工智能技术研究的早期，主流的理念是，人类智慧形成于成千上万个简单代理的协同工作，也就是麻省理工大学教授马尔文·明斯基（Marvin Minsky）所说的“头脑的社会”。工程师们因此相信，要实现人工智能，就必须建立成千上万个独立的计算机模块。一个模块，或者算法，去模拟语言，第二个模块处理发声说话等等以此类推。总之，按照这个早期理念，实现人工智能所需的工作量巨大，难以实现。 举个例子：我们在对图形图像，语音，语言语义等对象进行识别时，都要分别对不同对象去提取特征，例如图像的HOG，SIFT，HAAR特征等，而这个过程是人工选择的。 而现在有种理论说，人类的智慧来源于一个单一的算法。这个理论的实验依据是，人类大脑发育初期，每一部分的职责分工是不确定的，也就是说，人脑中负责处理声音的部分其实也可以处理视觉影像。人脑究其本质来说，是一台可以被调试以执行特定任务的通用型机器。 深度学习就是基于这个理论。深度学习是人工智能技术朝新的研究方向迈出的第一步。简单地说，深度学习包含了构建能够模仿人类大脑行为的神经网络。这些多层次的电脑网络像人类大脑一样， 可以收集信息，并基于收集到的信息产生相应的行为。这些电脑网络可以逐渐对事物的外形和声音进行感知和理解，也就是“认识”事物。比如，为了赋予机器“视觉”，研究人员需要建立最基本的一层人工神经元，用来探知如物体的边缘形状等基本信息，第二层神经元可以将第一层感知到了物体边缘性状拼凑 起来，鉴定较大块的物体形状，然后再加一层将第二层检测到的信息再拼凑从而使机器明白物体整体的形态。这里面关键的一点是，软件可以自行做到这一切——旧的“伪人工智能”往往需要工程师人工输入物体视觉或者声音的信息，然后由机器学习算法来处理这些信息数据。 在深度学习算法之下，我们可以给这个系统很多数据，使其“自己学会世界上的一些概念”。去年，Andrew NG 的一个深度学习算法机器通过扫描互联网上无数的猫的图片“认识”了猫，机器不认识单词cat，Andrew需要为机器输入这个单词，然后经过一段时间，机器将这种毛茸茸的小动物与单词cat联系到了一起，可以自行鉴别什么样的事物是 cat。


推荐阅读


上一篇：阿里的技术储备史是咋样一个状况

下一篇：老男孩IT教育在北京咋样有大神了解吗