「自然语言处理」NLP自然语言处理分词工具大全
中文分词
本文插图
准确率评测 THULAC：与代表性分词软件的性能对比
我们选择LTP-3.2.0 、ICTCLAS(2015版) 、jieba(C++版)等国内具代表性的分词软件与THULAC做性能比较 。 我们选择Windows作为测试环境 ， 根据第二届国际汉语分词测评（The SecondInternational Chinese Word Segmentation Bakeoff)发布的国际中文分词测评标准 ， 对不同软件进行了速度和准确率测试 。
在第二届国际汉语分词测评中 ， 共有四家单位提供的测试语料(Academia Sinica、 City University 、Peking University 、MicrosoftResearch), 在评测提供的资源icwb2-data中包含了来自这四家单位的训练集（training）、测试集（testing）, 以及根据各自分词标准而提供的相应测试集的标准答案（icwb2-data/scripts/gold）．在icwb2-data/scripts目录下含有对分词进行自动评分的perl脚本score 。
我们在统一测试环境下 ， 对上述流行分词软件和THULAC进行了测试 ， 使用的模型为各分词软件自带模型 。 THULAC使用的是随软件提供的简单模型Model_1 。 评测环境为 Intel Core i5 2.4 GHz 评测结果如下：
本文插图
除了以上在标准测试集上的评测 ， 我们也对各个分词工具在大数据上的速度进行了评测 ， 结果如下：
CNKI_journal.txt（51 MB）
【「自然语言处理」NLP自然语言处理分词工具大全】
本文插图
分词数据准备及评测由BosonNLP完成：11 款开放中文分词引擎大比拼（2015年发布）
分词的客观量化测试离不开标注数据 ， 即人工所准备的分词“标准答案” 。 在数据源方面 ， 我们将测试分为: 1.新闻数据：140篇 ， 共30517词语； 2.微博数据：200篇 ， 共12962词语； 3.汽车论坛数据（汽车之家）100篇：共27452词语； 4.餐饮点评数据（大众点评）：100条 ， 共8295词语 。
准确度计算规则：
将所有标点符号去除 ， 不做比较
参与测试的部分系统进行了实体识别 ， 可能造成词语认定的不统一 。 我们将对应位置替换成了人工标注的结果 ， 得到准确率估算的上界 。
经过以上处理 ， 用SIGHAN 分词评分脚本比较得到最终的准确率 ， 召回率和F1值 。
以上所有数据采用北大现代汉语基本加工规范对所有数据进行分词作为标准 。 具体数据下载地址请参见附录 。 通过这四类数据综合对比不同分词系统的分词准确度 。
本文插图
付费价格阿里云：
本文插图
腾讯云：
本文插图
玻森中文
免费额度：
本文插图
付费价格：
本文插图
官网开源工具
本文插图
高校工具
本文插图
推荐阅读
- 芯片高通始料不及！继华为、小米后，vivo也要自研处理器了？
- 创投时报性能超越骁龙865，苹果A14被拉下神坛，三星新处理器泄密
- SV电子竞技俱乐部比赛过程精彩纷呈，CFPL春季赛：SV细节处理不放松
- 「征稿活动」垃圾分类很困难？莫慌，垃圾处理器破解垃圾分类难题！
- 慕田峪长城游客慕田峪长城上刻名表白 景区：正在调查处理
- 创投时报三星新处理器泄密，性能超越骁龙865，苹果A14被拉下神坛
- 【魅族】不容易，魅族17系列能在骁龙865处理器手机烂大街的大环境下翻盘
- 半导体投资联盟国产海光X86处理器开始技术迭代，7nm年底试流片
- 雷达Finance被要求尽快妥善处理私人问题，安永涉嫌性侵合伙人遭停职
- 子衿解语撞见霍启刚，看看人家的神仙处理方式，田亮醉酒夜宿郭晶晶家中