江苏龙网

  1. 首页 > 生活 > >

挖掘同义词有哪些比较好的方法呢

word2vec区分不出来同义和同位，举个栗子，『北京』和『上海』，在word2vec里可能很近。我不认为无监督的东西能很好的挖出同义词，至少需要类似于『点击日志』的用户行为带来的弱标注数据，才能挖得比较好。所以建议结合自己的应用场景，从用户行为里面挖。如果实在没有用户行为，那就找本近义词典、辞海、英汉词典之类的算了。
■网友
业界很多人，不区分近义词与同义词，很多分词工具中有近义词典，可以拿来用。word2vec挖掘近义词都有点勉强，噪音会很大。
如果需要含义基本一致的同义词，主要有以下几类：
一：中文英文对应的同义词。比如：摩拜，对应英文：Mobike。饿了吗，英文：ele。
二：在搜索引擎中用户使用基本一致的词语。比如：儿童，宝宝。女孩，女生。跑酷，酷跑。打扮，装扮。
三：全称/简称，例如：招商银行，简称：招行。上海交通大学，简称：上海交大。
四：别名，例如：西红柿，番茄。
以上三类使用的技术方法各不相同，第二类，相关文章较多，可以搜一下，一般基于Query Log来做，计算相同context下的不同词的共现频率，这种方法其实可以同时发现全部4类同义词。另外几类，如果专门挖掘，需要大量定制化，规则化的方法。 第一类需要有中英文的对应语料，可以用一些Query Log，或者某搜索引擎的搜索结果来做特征分析。第三类，需要指定应用领域，比如机构名，简称有一些规则可以做，再找一些特征来筛选，另外，百度百科，就可以抓取全称，简称数据。
第四类，通常在第二类中挖掘，也可以在百度词典中抓取别名数据。

■网友
谢邀。
看过一些文本挖掘的书中介绍，在搜索场景中，不同用户输入不同的query，如果用户点击的行为相似（点击了什么内容），可以认为这两个query意思相似或者相近。
word2vec的结果必然会有误报的

■网友
nltk中有同义词包，你可以查查看看
■网友
【挖掘同义词有哪些比较好的方法呢】 挖掘相关的词语 深耕

■网友
distributional semantics


    推荐阅读


    上一篇：在华为终端工作体验怎么样

    下一篇：谁能给推荐一个方便可靠地保密工具