自然语言处理中,怎样设计实验来评价特殊词发现算法的好坏

可以考虑用信息检索的评价方式,用不同方法形成不同的新词列表,混合在一起,找人标注这些新词,然后反过来计算每个方法的MAP等指标。
■网友
同意刘知远老师的看法。当初我们自然语言处理课程有个新词发现的project,具体来说就是从上百万条微博里面找出新词,当时的我们的评价指标是这样的,我们班3人一组,19个队,分别提交结果给TA,然后TA将我们提交的新词pooling,放在一起,都出现的作为新词,然后反过来评价我们各自的提交结果。也就是说每个人都提交的都有的那些词,比较重要,即使有某些词不是新词,但其他18个队伍都提交了,但你提交的词没有这个词,不好意思,那你没找到这个“新词”。总的来说还是挺靠谱的。一般来说你的方法要是有效,其他人的提交不是胡乱猜词提交,那么你应该有不错的评分。


    推荐阅读