江苏龙网

  1. 首页 > 生活 > >

求PCA时，协方差矩阵为啥是对坐标而不是对元素（协方差的物理意义）

应该说是对特征而不是对坐标求协方差矩阵。五个数据点 (-1, -2), (-1, 0), (0, 0), (2, 1), (0, 1)是一组具有二维特征的数据。PCA进行降维时我们希望减少特征间的冗余信息，也就是减少特征，使降维后的各特征之间互不相关。而不相关性可以用协方差来衡量。协方差矩阵中对角线元素就是各特征的方差，其他各位置的元素就是各特征之间的协方差，协方差矩阵对角化就是使得特征之间两两不相关。之前写过一篇博客，供参考：PCA的数学原理及推导证明 - 专栏

■网友
更新一下，忘记回答题主的问题了。回到题主的两个问题：
第一协方差可以从一定程度表示的是两个变量的相关性大小，参考皮尔逊相关系数。
第二非对角元素全都为0表示该行列对应的特征相关性为0。
@单车 已经说了一部分的内容，我再进行一些补充吧。
实际上我们知道PCA是对原始特征矩阵进行的压缩，传统的PCA是保持特征样本的个数不变，压缩了特征的维度，例如m个n维特征的矩阵M*N，压缩完了变成M*R。这样的意义是，对相似的特征维度进行压缩，以去除冗余信息，比如我有一维是边长，有一维特征是边长的2倍，那么这就是冗余。要去除这种冗余，也就如你所说的“对坐标求协方差，也就是PCA中的做法，结果是2x2矩阵”。
实际上这只是一个方向上的PCA，也就是M*N中N方向上的！我们实际上是可以做另一个方向上的PCA的。
另一个方向上就是你说的对5*5的矩阵进行分解，不过这样压缩的不是数据维度，而是数据的个数，大致的原理可以理解为，将一些相似的sample合并在一起，或者将一些没有太大价值的sample去掉。只不过我们一般都是要对特征进行降维，而不是对数据进行降维。
具体的建议好好理解下SVD，SVD正好包含了2个方向的PCA。最近刚开专栏等之后有空我会在专栏里具体写写PCA和SVD的内容。

■网友
协方差矩阵计算的是特征与特征之间的方差，协方差矩阵大小就是特征个数，所以并没有什么坐标，PCA（主成分分析）是一个无监督的降维算法，希望得到数据的主成分，其主要思想是将数据投影到方差最大的方向，一般假设方差小的方向上的数据是高斯噪音，总的来说就是留下主成分，剔除噪音。
具体计算过程就是求协方差矩阵的特征值及其特征向量，大的特征值对应的特征向量就是对应方差较大的方向，如果希望将原数据降到k维，就选则前k大的特征值对应的特征向量作为投影方向，对每个数据投影即可。
做PCA之前需要先中心化数据，就是将数据的每个特征都减上该特征的均值，我觉得是为了简化计算和证明，PCA可以从最小重建误差的角度来证明。
当然很多情况下也要做方差标准化，因为，不同维度的特征对应着不同的物理意义，所以尺度不同，方差差别可能比较大，标准化之后的数据基本上克服了不同的尺度对算法的影响。
回到题主的问题，协方差的表示的是特征与特征之间的相关性，如果两个特征不相关，那么它们的协方差等于0，协方差矩阵的对角线值就是该变量的方差

■网友
可以理解为矩阵的空间变换的一个trick，把数据转来转去：
求PCA时，协方差矩阵为啥是对坐标而不是对元素（协方差的物理意义）
【求PCA时，协方差矩阵为啥是对坐标而不是对元素（协方差的物理意义）】

■网友
求协方差 本质是 求两个随机变量 X1，X2之间的相关关系～而对于样本数据来说，每一维特征就是一个随机变量，我们采样得到的样本值就是随机变量的取值。举例：给你一堆表征用户属性的样本数据，来预测他是否经常上网～样本属性如下：（年龄，收入，学历，性别，过去一年上网小时数）。比如年龄这个随机变量的取值范围是（1～100），性别这个随机变量取值范围｛男，女｝…然后我想观察性别和年龄之间是否有关系，也就是一个值会不会随着另一个的变化而变化～那就把这两维随机变量的样本值拿出来，求下协方差，显然是没有关系的哈?(? ? ?ω? ? ?)?。你自己想一想，求两个样本的协方差是什么鬼？有意义吗？一般我们做特征选择会用到皮尔森相关系数，把单独的特征拿出来和label计算相关程度，留下相关度高的特征～如果你拿两个样本计算相关性，无法想象啊…啊…啊…


推荐阅读


上一篇：ID3算法为啥先要通过最高信息增益来确定最佳分类属性而不是直接根据属性的最小熵值

下一篇：为啥玩游戏的时候很紧张