江苏龙网

  1. 主页 > 生活百科 > >

数据标注员，困在大模型里( 二 )

数据标注员


多数标注员经历过从生疏到熟练，从新鲜到乏味的过程 。项目的前期是最有趣的，那时标注规则还不完善，他们经常碰到争议地方，就会互相讨论甚至争论，气氛很热闹 。到了中后期，规则差不多定型，就只剩下重复的、机械的劳动，人就会陷入无意义感 。
一位标注员说，这是一份“没有头脑的工作” 。

数据标注员，困在大模型里

文章插图
江西抚州 ， 当地职校学生在做数据标注；图源：IC photo
上海大学教授贾文娟做过数据标注的田野调查 ， 她认为数据标注不是脑力劳动，也不是体力劳动，而是认知劳动，“人出售的是自己的认知” 。黑色幽默的地方是，我们想让机器变得更像人，同时却把人变得像机器 。换句话说 ， 抛开人的常识，像机器人那样思考 。
而一旦标注员开始思考“我为什么要做这个”，就意味着他离辞职不远了 。
郑委是一家数据标注公司的老板，他直言，留不住人 。公司最好的光景 ， 也不到20人 。新员工经常只能坚持半个月，不少人第一天来上班，第二天就跑了 。他只好不停降低招人要求，到最后，他感到“不是我在选人 ， 而是人家在选我” 。
他不知道怎么挽留那些要走的人，“你留在这儿会越来越好，这种话其实我自己都不太相信 。”郑委告诉36氪 。员工流失最终压垮了公司，只剩下两名标注员的时候，他决心解散团队 。没过多久，ChatGPT掀起了新一轮AI浪潮 。
大模型兴起，对数据标注本是利好，然而也加剧了标注团队的内卷 。
提起接活，小代说，现在市场上80-90%的标注项目，单价被压得非常低，“因为中间的转包商太多了”，“都想赚差价，不想真的干活” 。他在众包平台做过两年标注员，今年创业，组建自己的标注团队 。
数据标注的利润不高 。以自动驾驶的2D拉框来说，大公司的派单价格是一毛一个 ， 接活的标注团队是8分一个 。“现在降到5、6分 。”小代说 。他算了一笔账，如果低于8分，他只能亏本 。
为了生存，小代大部分时间都在找项目 ， 混迹于各种平台、贴吧 。项目真真假假，不靠谱的居多，小代吃过亏 ， 有一个项目的钱，等了8个月还没到账 。
后来，他先当兼职标注员 ， 试标、结账没问题，才会让团队接活 。有回听说平台半夜3点会放一批项目，他提前定闹钟去抢单 。
人员流失、单价压低、回款不稳定，像肿瘤一样 ， 拖垮了这行业里的多数小公司 。
没有一个标注员不嫌弃这份工作 ， 他们挣不到钱，更看不到晋升空间和发展机会，陷入漫长的沮丧和失落 。
就在写这篇稿子的过程中，36氪接触的标注员大多都离职了 。一个女孩说，她一共做了两个月，到手工资，只有不到三千块 。
内卷的标注员：本科率100%
过去，数据标注的门槛较低 。在山东、山西、河南、贵州等地，许多数据标注公司招募了大量廉价劳动力 。最常见的包括宝妈、残疾人、职校学生，只要掌握电脑的基本操作，就能进入这个行业 。
来到大模型时代，一场关于数据标注的洗牌和淘汰 ， 正在候选人中悄然进行 。
研究人员发现，训练数据的质量对模型性能有非常大的影响 。比起数据量，拥有更高的数据质量 ， 模型的改善效果就更明显 。为了把控数据质量，一些AI公司组建了自己的标注团队，第一步就是提高入行门槛 。
最明显的，标注员的学历开始卷起来 。
今年四月，一家头部大模型厂商建立了数据标注基地，招募的第一批标注员 ， 本科率达到100% 。公司负责人解释，大模型数据涉及的知识面广，评判标准复杂 ， 非常考验标注师的语言理解能力和逻辑推理能力 。
小王刚从大学毕业 ， 回老家找工作时，偶然刷到这个数据标注基地的招聘 。于是他参加了面试，顺利通过 。基地给他发来一份长达30万字的培训材料 ， 只有通过培训考试，才能正式上岗 。
标注员每天都在做题 。新人一天40道题，熟练工则是70-80道 。后台系统给每个人发放题目，大多数是真实用户和大模型的对话记录 。用户的问题囊括四海，甚至千奇百怪：这三款手机哪个更好？鸡蛋好吃还是扭蛋好吃？成功人士的标准是什么？林黛玉为什么要打白骨精？
大模型会有好多个回答，而小王的工作就是阅读每一个回答 ， 挑出错误，并按照质量逐一打分，5分是满分，1分最低，而3分以下的答案 ， 还需要划分错误类型 。答非所问，直接给最低分，要是碰到敏感问题，则不打分，判为“其他” 。


推荐阅读


上一篇：大模型可解释性你能理得清吗？综述已来，一文解你疑惑

下一篇：Python中APScheduler库的奥秘