选择遗忘|线性和二次判别分析( 二 )
(通过每个类
的实例的比例得到) , 类别均值
(通过经验样本的类别均值得到) , 以及协方差矩阵(通过经验样本的类别协方差或者正则化的估计器 estimator 得到:见下面的 shrinkage 章节) 。
在 LDA 中 , 每个类别的高斯分布共享相同的协方差矩阵:
for all
。 这导致了两者之间的线性决策面 , 这可以通过比较对数概率比
看出来:
在 QDA 情况中 , 没有关于高斯协方差矩阵
的假设 , 因此有了二次决策平面 。 更多细节见参考文献 [3] 。
注意:与高斯朴素贝叶斯的关系
如果在QDA模型中假设协方差矩阵是对角的 , 则输入被假设为在每个类中是条件独立的 , 所得的分类器等同于高斯朴素贝叶斯分类器 naive_bayes.GaussianNB。
1.2.3. LDA 的降维数学公式为了理解 LDA 在降维上的应用 , 从上面解释的 LDA 分类规则的几何重构开始是十分有用的 。 我们用
表示目标类别的总数 。由于在 LDA 中我们假设所有类别都有相同估计的协方差
, 所以我们可重新调节数据从而让协方差相同 。
在缩放之后对数据点进行分类相当于找到与欧几里得距离中的数据点最接近的估计类别均值
。 但是它也可以在投影到
个由所有类中的所有
生成的仿射子空间
之后完成 。 这也表明 , LDA 分类器中存在一个利用线性投影到
推荐阅读
- 地史食堂|未必需要开凿克拉运河,泰国还有第二选择,和新加坡竞争
- 王者MrPoker|到底有多难打?,不会根据局势来选择出装
- 特朗普|最新美国大选民调结果!52%的人选择拜登,领先特朗普10个点
- 行车视线|颜值惊艳 提供两种动力选择,起亚全新K5凯酷将于今日上市
- Java|计算机专业的本科生,该选择学习Java技术体系还是.NET技术体系
- 百二关河|为何选择策反钟会,他真的有复国的可能吗,姜维在蜀汉灭亡后
- 老靳行色|也要从撤离中国,而中不但不生气反而选择谅解,宁愿自损160亿
- 游戏攻略|《我的勇士》世界boss辅助选什么?世界boss辅助选择推荐
- 加拿大必读|领先特朗普10个点,最新美国大选民调结果!52%的人选择拜登
- ZAKER|高净值人群想要规避风险?海外房产或是一个不可多得的选择!
