《统计学习方法里面》,最大熵模型的推导过程中的feature function的实际意义是啥最好结合例子解释一下

最大熵模型里的feature和传统机器学习里的feature不是一个意思,传统机器学习里feature是指样本中的信息;而最大熵模型的feature指的是样本中的信息和样本Label间的共现
■网友
最大熵模型需要满足一定的约束条件,这些约束条件是从样本数据中观察出来的。比如在文本分类中,“体育类”文本中“皇马”的词频平均为0.05。那么你自己训练出来的模型p(y|x)也要满足这个约束(预测为“体育类”的文本中“皇马”的平均词频为0.05),这就是需要满足的约束条件。而feature function有M*K个(M是单词个数,K是类别个数),fi,j(x,y)=单词i在文本x中的词频(如果文本y的类别是j的话,否则为0),这样通过求feature function的期望就能得到上面的约束条件了。自己的一点理解,不一定准确,可以去找几篇最大熵文本分类的例子看下。


    推荐阅读