江苏龙网

  1. 首页 > 生活 > >

表征学习Representation Learning( 二 )


Unsupervised pretraining combines two different ideas. First, it makes use of the idea that the choice of initial parameters for a deep neural network can have a significant regularizing effect on the model (and, to a lesser extent, that it can improve optimization). Second, it makes use of the more general idea that learning about the input distribution can help to learn about the mapping from inputs to outputs.由于optimization的理论还处于发展过程中，第一个idea我们理解的不多。目前更多的信息表明，deep模型，local mini不是严重的问题，而pretrain可能能帮助我们找到更好的路径绕开变态Hessian matrix的区域。
第二个idea比较容易理解：
The basic idea is that some features that are useful for the unsupervised task may also be useful for the supervised learning task. For example, if we train a generative model of images of cars and motorcycles, it will need to know about wheels, and about how many wheels should be in an image. 所以当unsupervised学习到的表达对supervised的帮助不大时，即共同性没有那么强时，效果就不理想了。另外由于pretrain把模型训练分为了两个stage，不是end2end，无论是调参反馈还是参数量上，都更慢或更多，随着supervised能用的样本越来越多，pretrain开始退出历史舞台。
当然，该章节还有很多其他有意思的内容，比如GAN能学习到人脸的耳朵，而一些均方误差loss不能学习到，还比如manifold、semi-supervised、transfer learning等等。建议有兴趣的同学去仔细读下。

■网友

表征学习Representation Learning

不请自来（捂脸），翻译为表示学习，上图为周志华CNCC2016的PPT。

■网友
什么是表达学习？为什么要表达学习？
机器学习算法的成功与否不仅仅取决于算法本身，也取决于数据的表示。数据的不同表示可能会导致有效信息的隐藏或是曝露，这也决定了算法是不是能直截了当地解决问题。表征学习的目的是对复杂的原始数据化繁为简，把原始数据的无效信息剔除，把有效信息更有效地进行提炼，形成特征，这也应和了机器学习的一大任务——可解释性。 也正是因为特征的有效提取，使得今后的机器学习任务简单并且精确许多。在我们接触机器学习、深度学习之初，我们就知道有一类任务也是提炼数据的，那就是特征工程。与表征学习不同的是，特征工程是人为地处理数据，也是我们常听的“洗数据”。 而表示学习是借助算法让机器自动地学习有用的数据和其特征。 不过这两个思路都在尝试解决机器学习的一个主要问题——如何更合理高效地将特征表示出来。
表征学习的自动化算法
我们定义了表示学习的自动化，那么这个自动化发展得如何呢？让我们来看看有哪些已有的算法和它们背后的意义。无监督学习算法中例如PCA/auto-encoder的自动化体现在它们可以对输入数据转化而使得输入数据更有意义；树模型可以自动地学习到数据中的特征并同时做出预测；深度学习的CNN/RNN/DBN/GCN则更加灵活，CNN大量地用在图像的研究上，RNN是时间序列数据学习的摇篮，而GCN可以用在图网的数据学习中。回想特征工程则是极度依赖人的判断的，人们会根据自己的理解来筛选数据或者做数据变换。
1) 无监督学习
在深度学习大幅发展之前，无监督学习是很好的表征学习的工具。无监督学习中的自动编码器可以用来对数据进行含义转换。举个单词表征的例子，单词有很多表示的方法，最简单的就是one-hot encoding, 这种方法是在一个庞大的词库向量中对要标注的目标单词用1来表示，而其余的用0。这样一来所有的单词都是相互独立的，即它们之间的距离都是一样的，非常地浪费空间。而如果我们用RBM, 中文叫作单层自编码器，来做word embedding， 将词库矩阵映射到新的矩阵空间，令词义更相近的单词靠得更近，这样节约了空间，同时新的表达还定义了相近词。这种自编码过程使用的一般是无标签数据，输入数据经过编码会有一定的抽象，然后这种抽象可以通过解码得到一个近似于输入的输出数据，所以它是一种稳定的转换。其实无监督的表征学习算法的精髓是学习从高维观察到低维表征空间的映射，使得可通过地位的表征（近似地）重建出原来的观察，比如PCA的映射空间就保证了原空间的多样性。尽管自动编码器与 PCA 很相似，但我们可以看出来自动编码器比 PCA 灵活得多。在编码过程中，自动编码器既能表征线性变换，也能表征非线性变换；而 PCA 只能执行线性变换。因为自动编码器的网络表征形式，所以可将其作为层用于构建深度学习网络。


推荐阅读


上一篇：为啥手游都喜欢在IOS越狱版进行测试

下一篇： 长出@兰花养好几年就是不发新芽，今天给它催一催，过几天就蹭蹭冒！