表征学习Representation Learning
建议去读读花书的第15章，能被单独拎出来，做为一个完整的章节描述，其重要性不言而喻。这里做点简单的介绍，首先看两个核心问题：
1. 在机器学习中，到底是什么因素决定了一种表示比另一种表示更好呢？
2. 流行一时的pretrain为何不流行了
Representation来看一个例子感受下为何representation这么重要：
For example, it is straightforward for a person to divide 210 by 6 using long division. The task becomes considerably less straightforward if it is instead posed using the Roman numeral representation of the numbers. Most modern people asked to divide CCX by VI would begin by converting the numbers to the Arabic numeral representation, permitting long division procedures that make use of the place value system. 可以感受到，阿拉伯数字表示比罗马数字更容易让人处理除法。那么，在机器学习中，到底是什么因素决定了一种表示比另一种表示更好呢？
大概有三个方面的解释：
1. 提供Disentangling of Causal Factors的线索
2. distribution representation的优势
3. Deep带来的Exponential级别的增益
先看第一个解释，引用一段话： One hypothesis is that an ideal representation is one in which the features within the representation correspond to the under- lying causes of the observed data, with separate features or directions in feature space corresponding to different causes, so that the representation disentangles the causes from one another. This hypothesis motivates approaches in which we first seek a good representation for p(x). Such a representation may also be a good representation for computing p(y | x) if y is among the most salient causes of x. 看个例子更容易理解：
上图中的x分布是一个混合高斯分布，学习到好的p(x)，对y的预估会变得更容易，但如果p(x)是一个均匀分布，则对y的预估就一点用的没有。
在看第二个解释：
对于上面两个图，分别表示distribution representation和one hot representation对空间的分割，明显可以看到，distribution的版本，可以用更少的线分割出更多的区域，即在统计上更有效（statistics effective）
最后一个解释我们有了解过神经网络的universal approximators理论，Deep的模型比shallow的模型能用更少的weight，描述更复杂的function，在representation里面，也适用。
It has been proven in many different settings that organizing computation through the composition of many nonlinearities and a hierarchy of reused features can give an exponential boost to statistical efficiency, on top of the exponential boost given by using a distributed representation. 为何不怎么流行pretrain了 【表征学习Representation Learning】 在神经网络发展初期，在find a good initialization中pretrain起到了关键的作用，可以说是推动了整个deep的发展。
why and when pretrain work把问题局限在greedy layer-wise unsupervised pretraining时，有两个经典的ideas：
推荐阅读
- 现在在线学习视频有很多了，为啥大部分人还是喜欢下载下来观看
- 婴儿|美国儿科学会： 1岁以下婴儿不推荐学习游泳
- 在美国大学学习computer science 是啥样的体验
- 作为软件工程大二的学生，学习一般，编程一般，毕业后能干些啥
- 计算机深度学习方面sci三区期刊推荐
- 零基础入门学习啥语言好
- 有哪些好的学习英文的视频网站
- 马云说的大数据时代到底是，用到啥技术，如果想要学习大数据技术，要学习哪些基础的东西要先会编程么
- “盐城师范学院”学习强国号上线
- 广发银行|学习“铁军精神”:广发银行无锡分行开展党建活动增强发展动力