「自然语言处理」NLP自然语言处理分词工具大全( 二 )


商业工具
「自然语言处理」NLP自然语言处理分词工具大全
本文插图
测试数据集
「自然语言处理」NLP自然语言处理分词工具大全
本文插图
前两个数据集是SIGHAN于2005年组织的中文分词比赛所用的数据集 , 也是学术界测试分词工具的标准数据集 , 本文用于测试各大分词工具的准确性 , 而最后一个数据集规模较大 , 用于测试分词速度 。


推荐阅读