怎样更好的利用软件发现文本文件中的时间、人名、地名、机构名等信息
这是个典型的的命名实体识别(NER)问题。国内目前不少对于命名实体识别有一个误区,就是把这个问题等价于分词,将一些特定的人名,地名加入词库来达到效果。这种实现最大的问题是不具备可扩展性,因为词典的更新总是晚于新词的出现。近年来命名实体都是采用上下文信息+构词法的融合进行识别。譬如“他名叫徐嫳趧”,如果纯粹采用词典很难将这样的生僻名字纳入。另外像“文章”(文章与马伊琍 v.s 一篇文章)这样具有高度歧义的词语也不适合加入词典。BosonNLP的NER已经较好解决了该问题,这里是可交互的demo:单文本演示 - BosonNLP
■网友
【怎样更好的利用软件发现文本文件中的时间、人名、地名、机构名等信息】 命名实体识别技术,可以试试Stanford Name Entity Recognition 工具,有中文的,需要事先分好词。
■网友
1.静态识别 主要是词典匹配,词典的来源可以到固定的网站去挖掘:百科、 wiki、 豆瓣等等。 2.动态识别 1.规则 构词的规则 2.统计模型 主要是模板 最大熵 条件随机场等等 主流的是词典匹配+规则,模型也有,但是效率原因,还算不上主流吧。 如LZ中的“景伟” 1.用词典很难匹配成功,毕竟这个不是什么名人。 2.规则匹配,需要考虑景作人姓和伟作单字人名的可能,识别可能在三个中最大。 3.模型判断,根据模板,有可能匹配,看语料和模板的选择了。 “巴蜀” 词典匹配应该能成功,模型也能。 “2007年” 规则匹配。
■网友
时间可以通过结构分析出来,人名、地名、机构可以通过主体识别来发现绝大多数。我们做行业应用,则是通过行业数据库收录的人名、地名、机构形成词库的简单方式来识别。因为我们的应用场景是,他需要识别的就是他已经采集的,对于未采集的,他也不需要识别。
■网友
智能分词技术!
■网友
能做到命名实体识别的NLP工具包还挺多的,印象中哈工大有一个现成的接口,可以试试看
■网友
为了分词更精确,而且可以应用到一些特定的场合。需要做人名、地名、组织机构名和时间词、数量的识别。升级工作已经完毕,请大家测试并提出宝贵意见!!!下载地址:http://www.lingjoin.com/product/ljparser.html
■网友
齐普夫法则,词频最低的权重最高,整篇内容,景伟 词频最低,最有可能是人名。地名什么的有专门词库。
推荐阅读
- 聪明人养花,这3种“花”怎样也要养一盆,每年能省不少医药费
- 河北承德危险废物综合利用处置率达100%
- 黄金时间■黄金时间丨打造海绵城市:节水从利用雨水开始
- 互联网怎样解决“家政服务上门速度慢”的问题
- 怎样看待从1月8号起,QQ钱包开始提现收费
- 银行it人怎样转型
- |淮阴水政充分利用“双随机”平台 促进执法公平公正
- 为啥知乎上普便有一种【我在北上广深打工,所以拥有更好的视野】这样的错觉
- 汽车|冬天怎样让车内温度快速升高?座椅加热的最佳使用方式二,外循环的作用总结
- 趣头条|你我皆风华正茂,拥有广汽三菱奕歌的日子是美好的
