用LDA做topic modeling,高频词为啥会dominate many topics
个人理解 - 下面是白话解释指数分布族中长尾起到的作用是很有限的,不幸的是大多数机器学习的分布都是指数分布。1 高频词比较容易属于多个主题2 一个topic下面的top词倾向于高频词,因为只要生成了高频词,就相当于把主题的大部分和很多文档生成了3 所以词的权重需要乘以idf,但是还不够,因为乘以idf后,tfidf高的词成为新的高频词。所以需要用各种方法调整词的权重。
推荐阅读
- 随便找个人一周之内只用语言自带的库开发不出测试用的LDAP服务端,算不算烂语言
- 研究强化学习的童鞋你们开题topic都是哪些
- 准备作主题模型LDA聚类,求训练语料
- 怎样复原电脑垃圾站里删除的文件
- 索尼LDAC蓝牙传输技术是硬件层面的技术还是系统层面上的呢
- 是否还有必要学习LDA(潜在狄利克雷分布)
- 科技每日推送|LDAC、一键闪连、IP55:vivo无线运动耳机开箱轻体验
- LDA 吉布斯采样时间复杂度怎样分析
- 『Mic』万魔降噪项圈Pro版体验:LDAC助力高音质,双向反馈Mic降噪更强大外观篇音质及降噪篇总结篇
- STM话题模型比LDA有啥优势
