怎样高效地进行人工文本标注
欲善其事,先利其器。
如果不是特别大的数据的话,效率低是因为没有合适的标注工具。
不知道题主需要标注的具体是什么形式,如果是类似entity recognition 或者简单的 event annotation, 可以尝试下YEDDA 这个轻量级的标注工具。已被收录ACL 2018 demonstration paper: YEDDA: A Lightweight Collaborative Text Span Annotation Tool, 并且被提名best demo paper。
这是基于Python 的图形化标注工具,不依赖与Python 以外的其它库,因此只要有Python 的地方就可以用,在Linux/MacOS/Windows 系统上毫无压力。速度比一般的标注工具快一倍。
它支持两种高效的标注方式:快捷键和命令行标注,速度块效率高。同时系统还可以根据之前标注过的结果推荐标注结果,减少重复标注的工作。此外对于多人标注的情况,系统还提供管理员端来验证不同标注者之间的标注准确度和生成具体的评估报告。具体参看项目主页:
jiesutd/YEDDA
标注界面:

结果对比报告:
■网友
大规模分布式研究生标数据
■网友
有多少人工就有多少智能。
不过目前来看,train好的模型期待能有效辅助标注。
■网友
推荐一个标注工具,INCEpTION。这是一个分布式文本语料标注系统,提供智能注释辅助、知识管理、主动学习等多种功能,相对更适合公司内使用。
项目官网:
https://inception-project.github.io//
■网友
可以尝试使用曼孚科技SEED数据标注平台:
以语音标注为例,在预标注技术以及VAD切片技术的加持下,标注效率可以提高2.5-4倍以上:
预标注技术:平台本身集成了独家的算法,可以预先对语音内容进行识别,标注员只需要在预标注的结果上略微修改即可,可以成倍提升工作效率。
■网友
谢邀。
感觉没有什么好方法,我们就是请外包做的
■网友
现在的监督式学习的话是有多少人工就有多少智能,文本标注本身是一个单调、枯燥的密集型重复劳动,不知道题主所说的高效是指哪个维度的高效,文本的来源是否来源于机器产生的数据。
如果是来源于机器产生的数据,就相当于机器已经进行过一次判定了,直接将这部分语料拿出来进行标注即可,这时候提高效率的方式就是从方法层和工具层去提高,Excel处理这种枯燥单调的重复性工作比较有优势,能够有一个较高的效率,因为Excel排列比较密集,标注员可以沉浸进去进行标注。如果是标注平台的话,建议可以收集一下现在标注员觉得最耽误时间的是哪部分,看有没有可优化的。
如果是外来数据的话,建议可以通过算法将语料预分类一次,再进行标注。
■网友
我记得我看一篇acl2016的论文,名字记不得了。。。关于vpe的,后来翻数据来源是EMNLP的文章这篇文章的工作是做了个标注,一种语言现象,方法是半自动,就是先写个perl自动处理一下,挑选一下,再来人手工标。。。类似于先做一个小框架,磨刀不误砍柴工https://link.springer.com/article/10.1007%2Fs10579-011-9142-3
■网友
【怎样高效地进行人工文本标注】 如果是以提高效率为目的,那当然是众包啊,也就是楼上所说的大规模分布式人工标注,:)
推荐阅读
- 聪明人养花,这3种“花”怎样也要养一盆,每年能省不少医药费
- 大连:金州主城区先进街道等5个街道严格进行封闭管控
- 试验■连徐高铁即将进行热滑试验
- 互联网怎样解决“家政服务上门速度慢”的问题
- 怎样看待从1月8号起,QQ钱包开始提现收费
- 银行it人怎样转型
- |淮安市体育局推进行业信用体系建设
- 汽车|冬天怎样让车内温度快速升高?座椅加热的最佳使用方式二,外循环的作用总结
- 怎样进入通信行业
- 怎样评价扶他柠檬茶的小说《云养汉》的结尾
