对于PCA或者SVD在降维来说，是去去除了相似性高的列还是去掉信息量少的列
一点拙见。。。首先需要明确的是，“去掉”和“合并”是两个有区别的概念。对于Collinerity（有关collinerity的解释，Quora上有着一些角度不错的观点In multiple regression, why do correlated covariates (independent variables) lead to larger errors in the estimated regression parameters?）来说，这两个操作会造成的结果有可能有着天壤之别。。。 举个例子，向量
有着一系列的取值，取向量
为一系列的微小值（与
中的取值完全无关）并定义向量
则
与
有着高度的相关性. 令
，那在以
作为回归目标的回归问题中会发现将
或
中的任意一个单独作为回归问题的自变量都与
没有显著的关系，而在
与
共同参与的回归下却有着高度的关联性（
）因此，倘若在feature中去掉“去掉”
或者
中的任何一个，你都会丢失近乎所有和 【对于PCA或者SVD在降维来说，是去去除了相似性高的列还是去掉信息量少的列】
有关的信息，进而使模型失去推断能力。 而合并则不会。对于PCA和SVD本身（这两者原理上相似）来说，它们都负责给出一系列的特征向量排序，在原特征空间上以varience最大化和不相关性为原则寻找并排序新的特征向量作为特征轴，而去掉的是Varience比较少的特征向量（这些向量对应的特征值可能非常小甚至近乎等于零，这代表了它们有着很大的Variance inflation factor，是冗余的）。所以从我的角度上理解来说，PCA/SVD是“合并相似性高并且有助于区分样本的列”和去掉“信息量少的特征向量（这些特征向量有可能包括那种纯粹冗余的feature，以及完全无关的feature）”借以达成降维的目的（因为每个特征向量都是“linear combination of original features"），并不是单纯的“去除了相似性高的列”或是“去掉信息量少的列”这样的解释。（粗体部分是根本性的特征，同时对划横线的部分持保留态度，PCA对于特征向量的舍弃如果不当，同样存在丢失掉同因变量高度相关的特征向量的可能性）同时，之前也解释过了，看似完全无关的feature（如
）有可能仅仅是因为没有找到对应的
，这就是数据收集，处理和特征提取部分的问题了，遇见这种失误PCA/SVD也帮不了忙，因为现有特征集中根本就是缺失了这部分信息。想到什么再补充吧～一时兴起回答，可能会有一些说的不对或者有待讨论的地方也请指正。
■网友
个人理解他并没有去掉，而是去找一些重要的成分。我们把现有的数据当做一些基的组合，我们的目标就是去找这些基，具体可以参考下：理解PCA和SVD
推荐阅读
- 5.1声道片源对于没有5.1硬件系统的用户来说有意义吗
- |常州天宁：检察建议让“忙道”回归盲道
- 商家通过低保户购物而把自己的利润返还赠送低保户安装宽带或者旧电脑可行吗
- 大部分黑客或安全研究员读的是啥「大学专业 」
- 英雄联盟快捷键Q、E、R咋操作呢
- 开发／维护 一个类似qq会员或者Amazon Prime会员的会员系统有哪些难点和挑战
- 作为一个服装供应商，怎么样与淘宝卖家沟通才能卖出自己的产品或者拿到订单
- 是否该停止密码掩饰了
- 淘宝上有啥体验不错的假货,赝品或者山寨货?
- 2017年iPhone性价比最高的是哪款产品