怎样判断一个单词是否是生词

1, 下载单词词频列表。这是我找到的一个,你可以试试。http://invokeit.wordpress.com/frequency-word-lists/列表大概是这个样子,常见的在上边,越罕见,越难的在下面。you 6281002i 5685306the 4768490to 3453407a 3048287。。。manter 6kipping 6credi 6dustbowl 6marakesh 6bailistics 6oxytone 62, 统计用户所查单词在词频列表中的位置,平均或根据权重算出用户词汇量在词频列表中的位置。3,在此位置之上的就都是用户已知词汇,之下的就都是生词。
■网友
这个问题的一个类似的问题,我在一年前提出来过,目前哪些背单词的网站,能提供熟词预测的功能?以减少首次背诵线性遍历的时间鉴于一年多尚未有人给出特别到位的解答,我决定自己设计一套技术路线来尝试解决这个技术问题,正在酝酿中。
■网友
不用精确,用户用之前估计一下用户的词汇量。然后你就可以根据最基本的词频来预测某个词是不是生词。关键的一点你要把界面做的相当好,方便用户纠正你预测错误的词。然后你就有了一个越来越精确的用户已掌握的词表。接下来对于一个生词,你可以设计一个分类器,可以使用的特征包括单词的长度,词频,到已掌握单词的编辑距离,你还可以用wordnet算一下生词到用户已掌握的词的最近距离(这样做,就能保证一些看上去陌生的合成词或者变位不会被标记为生词,这里就不展开细说了,你应该还会需要一个lemmatizer)。 每次你预测出来的结果都能得到用户的反馈(用户不纠正就说明对了),就可以套一套现有的online machine learning的算法。这个软件听起来还是挺有意思的,但是我觉得并不太实用。一个好的集成了词典的阅读器,完全已经能满足需求了。用来背单词倒会是一个不错的应用场景。


    推荐阅读