《统计学习方法里面》,最大熵模型的推导过程中的feature function的实际意义是啥最好结合例子解释一下
最大熵模型里的feature和传统机器学习里的feature不是一个意思,传统机器学习里feature是指样本中的信息;而最大熵模型的feature指的是样本中的信息和样本Label间的共现
■网友
最大熵模型需要满足一定的约束条件,这些约束条件是从样本数据中观察出来的。比如在文本分类中,“体育类”文本中“皇马”的词频平均为0.05。那么你自己训练出来的模型p(y|x)也要满足这个约束(预测为“体育类”的文本中“皇马”的平均词频为0.05),这就是需要满足的约束条件。而feature function有M*K个(M是单词个数,K是类别个数),fi,j(x,y)=单词i在文本x中的词频(如果文本y的类别是j的话,否则为0),这样通过求feature function的期望就能得到上面的约束条件了。自己的一点理解,不一定准确,可以去找几篇最大熵文本分类的例子看下。
推荐阅读
- 西南地区最大再生水厂完成提标改造每日可生产100万吨再生水
- 以“茶”传情湖北省850箱茶叶经中蒙最大陆路口岸出境
- 山东细化残疾人托养国家标准助力残疾人最大化融入社会
- 续航|单次最大续航里程420km ID.3创连续行驶世界纪录
- 长安欧尚科尚|国产又一“精品”mpv,最大马力178,轴距超2.8米气场不输埃尔法
- 省运会|靖江瞄准6枚金牌目标积极备战省运会橄榄球项目是最大夺金点
- 雷凌|网约车哪台最舒服,最大赢家竟是……
- 尔冬升|《演员2》总决赛晋级名单出炉,张月被保送成尔冬升组最大赢家
- 郑恺|郑恺晒照为苗苗庆生,配文:一家三口,她最大
- 汽车|2020年汽车行业最大的乌龙,可能就是一汽丰田“傲澜”了!
