选择遗忘|线性和二次判别分析( 二 )


(通过每个类
选择遗忘|线性和二次判别分析的实例的比例得到) , 类别均值
选择遗忘|线性和二次判别分析(通过经验样本的类别均值得到) , 以及协方差矩阵(通过经验样本的类别协方差或者正则化的估计器 estimator 得到:见下面的 shrinkage 章节) 。
在 LDA 中 , 每个类别的高斯分布共享相同的协方差矩阵:
选择遗忘|线性和二次判别分析for all
选择遗忘|线性和二次判别分析。 这导致了两者之间的线性决策面 , 这可以通过比较对数概率比
选择遗忘|线性和二次判别分析看出来:
选择遗忘|线性和二次判别分析在 QDA 情况中 , 没有关于高斯协方差矩阵
选择遗忘|线性和二次判别分析的假设 , 因此有了二次决策平面 。 更多细节见参考文献 [3] 。
注意:与高斯朴素贝叶斯的关系
如果在QDA模型中假设协方差矩阵是对角的 , 则输入被假设为在每个类中是条件独立的 , 所得的分类器等同于高斯朴素贝叶斯分类器 naive_bayes.GaussianNB。
1.2.3. LDA 的降维数学公式为了理解 LDA 在降维上的应用 , 从上面解释的 LDA 分类规则的几何重构开始是十分有用的 。 我们用
选择遗忘|线性和二次判别分析表示目标类别的总数 。由于在 LDA 中我们假设所有类别都有相同估计的协方差
选择遗忘|线性和二次判别分析
, 所以我们可重新调节数据从而让协方差相同 。
选择遗忘|线性和二次判别分析
在缩放之后对数据点进行分类相当于找到与欧几里得距离中的数据点最接近的估计类别均值
选择遗忘|线性和二次判别分析。 但是它也可以在投影到
选择遗忘|线性和二次判别分析个由所有类中的所有
选择遗忘|线性和二次判别分析生成的仿射子空间
选择遗忘|线性和二次判别分析之后完成 。 这也表明 , LDA 分类器中存在一个利用线性投影到


推荐阅读