用LDA做topic modeling,高频词为啥会dominate many topics

个人理解 - 下面是白话解释指数分布族中长尾起到的作用是很有限的,不幸的是大多数机器学习的分布都是指数分布。1 高频词比较容易属于多个主题2 一个topic下面的top词倾向于高频词,因为只要生成了高频词,就相当于把主题的大部分和很多文档生成了3 所以词的权重需要乘以idf,但是还不够,因为乘以idf后,tfidf高的词成为新的高频词。所以需要用各种方法调整词的权重。


    推荐阅读