「虎嗅网」一场突如其来的校园监视危机

「虎嗅网」一场突如其来的校园监视危机

----「虎嗅网」一场突如其来的校园监视危机 //----[ http://www.caoding.cn]

开学后, 是时候唤起你的恐怖回忆了 。

也许《黑镜》的编剧怎么也没想到 , 这部曾一度被封神 , 但口碑一路下滑的科幻电视剧 , 终于迎来了“戏言”一语成谶的时刻 。

在2018年播出的第四季第二集中 , 为了更好监护自己的女儿, 一位母亲给她的眼睛植入了芯片控制器 , 自己可以透过一个类似iPad的硬件查看其身体的各项生命体征 , 也可以转播它的视觉信号 。

「虎嗅网」一场突如其来的校园监视危机

----「虎嗅网」一场突如其来的校园监视危机 //----[ http://www.caoding.cn]

换句话说 , 她可以通过iPad看到任何女儿看到的画面 。 假如后台显示因为女儿看到恐怖画面而导致皮质醇上升 , 她可以按下屏蔽按钮 , 用马赛克抹除掉女儿看到的特定物体 , 譬如一只凶猛的大狗 。

「虎嗅网」一场突如其来的校园监视危机

----「虎嗅网」一场突如其来的校园监视危机 //----[ http://www.caoding.cn]

现在 , 让我们偷换一下里面的技术细节 。

把植入的芯片 , 换成教室里可以做到十几个小时连续监控的人脸识别摄像头 。 通过人脸识别的实时分析 , 作为家长和老师 , 你可以随时获得她更加细致的多达十几条指标结论:

「虎嗅网」一场突如其来的校园监视危机

----「虎嗅网」一场突如其来的校园监视危机 //----[ http://www.caoding.cn]

趴桌子2次 , 玩手机2次 , 睡觉1次 , 听讲0次 , 阅读0次 , 举手0次 , 笑了0次 , 厌恶表情出现了10次……

最后机器可能得出一个综合结论:她是个有问题的孩子 。

「虎嗅网」一场突如其来的校园监视危机

----「虎嗅网」一场突如其来的校园监视危机 //----[ http://www.caoding.cn]

以上 , 便是旷视科技在前天晚上引发微博轩然大波的产品图片以及被截取的视频内容 。

而这已经不是一部电影 , 也不是一个停留在宣传片层面的demo , 因为类似项目 , 已经进驻部分小学与大学 。

在微博与知乎上的讨伐声此起彼伏时 , 旷视科技很快便发布了一则正式声明 , 表示网上出现的图片仅仅是技术场景概念演示 , 公司在教育领域的产品专注于保护孩子在校园的安全 。

「虎嗅网」一场突如其来的校园监视危机

----「虎嗅网」一场突如其来的校园监视危机 //----[ http://www.caoding.cn]

这则声明中 , 关键词是“安全” 。 而最具争议的讨论点之一 , 也恰恰是“安全” 。

要解决孩子的人身安全 , 需要我们去分析他睡了多少次觉 , 举了多少次手以及瞟了同桌多少眼的问题吗?

或者反过来说 , 这些强加的条条框框 , 是否能够有效解决校园霸凌?

再或者说 , 我们知道这个孩子或许有几个表现不达标 , 那么我们有没有准备好对症下药的解决方法?即便作为一名老师可能很了解一个孩子上课有不听讲的毛病 , 但是对于改变他的毛病却通常无能为力 。

我们的关注点从谈及“安全”的一开始 , 就已经本末倒置了 。

这也是《黑镜》里植入芯片与人脸识别分析上课表现与行为的共同点:

拿捏不好分寸 , 将所谓的“保护”转变为“过度保护” , 以保护之名行“监禁”之实 , 将会在未成年人的心理上留下怎样的痕迹?最坏的结果 , 还请参见黑镜这一集的结局 。

技术本没有任何错误 , 根本在于我们的命运掌握在有权使用技术的人手里 。

旷视“冤”吗?

当舆论炮火被引到旷视身上时 , 我们其实需要了解更多真相 。

2018年在北京举行的安博会上 , 除了“人脸识别技术”成为硬件与方案的标配 , 几乎现场可提供场景解决方案的安防厂商中 , 有一半都表示可以做以校园场景为基础的人脸识别监控 。

而在百度与天眼查上搜索“校园智慧解决方案” , 声称可以提供室内人脸识别监控方案的企业不在少数 。

实际上 , 在国内各省的平安校园建设持续多年 , 出发点是预防各类侵害学生权益的事件发生 , 譬如阻止社会人员滋扰在校师生 , 再有就是让人痛恨的校园霸凌 。

与此同时 , 2018年教育信息化2.0行动计划的颁布 , 也让提高教学质量与效率的目标与更多更复杂的技术手段建立了联系 。

然而 , 在技术应用愈加成熟与便捷的过程中 , 有些东西正在发生变质 。

学校与家长的关注点从学生的人身安全 , 逐渐转向更加符合个人利益的要素上 , 譬如如何让学生更加高效地学习 , 预防早恋等等 , 这些在他们看来都与更好的成绩 , 孩子们更好的未来以及学校更好的名声直接挂钩 。

早在2017年 , 国内就有不少中小学安装了联网摄像头 , 家长在家里下个app , 就可以通过教室黑板上方那个摄像头 , 看自己的孩子到底在教室里做些什么 。

也曾有学生在微博上控诉类似的事情 , 但并没有引起多少关注 。

「虎嗅网」一场突如其来的校园监视危机

----「虎嗅网」一场突如其来的校园监视危机 //----[ http://www.caoding.cn]

而在app远程监控的基础上 , 加入更加强大的人脸识别及分析 , 只不过是一种“变本加厉” , 而不是一家技术公司创造的原罪 。

有行业人士曾告诉虎嗅 , 校园安防建设与信息化建设的盘子很大 , 各个阶段政府与学校都需要有一定的项目资金投入 , 这是一个前景很可观的市场 。 但至于这样如此高技术含量的东西能不能用得上 , 就另当别论了 。

另一方面也有人认为 , 作为一家将要IPO , 但营收并不好看还存在亏损的人脸识别技术公司之一 , 业绩压力也让他们想寻找各个途径实现技术变现 , 对于一些产品设计的思考可能欠妥当 。

“只能说用这种方法去吸引采购方 , 用各种高大上的语言去包装 , 也许有些不会买账 , 但也可能有人会被产品提升教育质量与安全都能兼顾的说法给打动 。 ” 据一位不具名的安防人士表示 , 从这个市场来看 , 一个巴掌是拍不响的 。

“但另一方面 , 企业的技术并没有那么好 , 很有可能忽悠客户 。 实际上 , 你看到的那些分析维度 , 其实在实际场景中结果并不准确 。 ”

技术的局限性

技术创业公司通常都有一个毛病 , 就是喜欢把宣传视频或广告图片“修”得趋于完美 。

除了吸引投资 , 这些视频也是向客户推销产品的一大“伴手礼” , 但实际上 , 很多时候在上手一试后 , 就会发现效果大都需要减半 。

以情绪检测为例 , 在一次试用人脸识别公司的表情检测软件的过程中 , 我们发现“快乐”和“开心”更容易被算法定义 , 只要我咧开大嘴 , 嘴角朝上 , 那么系统就会判定我目前是开心的 。

而悲伤 , 厌恶 , 或者是“面无表情” , 根本没有一个可以被标准化的基础结构 , 因此检测成功率也较低 。 工程师也承认 , 除了“笑” , 其他表情其实都无法给出非常精准的结果 。

更何况以上所有情绪 , 都可以“造假” 。 譬如强颜欢笑 , 或者是故意张大嘴表示愤怒 , 都可能骗过机器 。

此外 , 我们也比较好奇像“睡觉”这个维度是如何做到精准分析的 。 那学生们困了 , 可能只需要一个曾在日本很流行的上班族必备神器——假眼贴纸 , 解一时之急 。

「虎嗅网」一场突如其来的校园监视危机

----「虎嗅网」一场突如其来的校园监视危机 //----[ http://www.caoding.cn]

2017年曾经轰动一时的上班族必备神器

最有意思的是 , 与国内对人脸识别大部分的正向宣传相反 , 由于人脸识别技术在有色人种、民族、儿童老人等维度的准确率方面存在巨大差异 , 人脸识别技术应用在国外的推广略显艰难 。

作为国外反人脸识别风潮中最有名的攻击对象 , 曾被美国警方使用的亚马逊计算机视觉平台 Rekognition被自家股东在今年年初开始持续施压 , 他们强制要求亚马逊停止向执法部门出售人脸识别软件 。

而这股风潮也在今年8月初吹到了英国 , 有房地产商在伦敦国王十字区安装了人脸识别硬件后遭到强烈反对 , 因为后者对此毫不知情 。

在美国 , 这项技术正面临着来自立法者越来越大的阻力 。

加利福尼亚州参议院正在考虑立法禁止在警用随身摄像机中使用人脸识别软件 , 而旧金山监事会(美国中西部及东部各州)也已经开始禁止执法部门使用这项技术 。

因此 , 包括亚马逊、谷歌以及亚马逊等技术公司虽然很不情愿 , 认为“新技术不应该因为可能被滥用而遭到禁止和谴责” , 但却达成了一个共识:

制定相关合乎道德的指导方针 , 要跑在真正能使用这项技术之前 。

因为一个明确的监管框架不仅能确保人脸识别只用于完成合法的任务 , 也能够帮助消费者理解这项技术的好处 。

让人脸识别“走上正路” , 一边是法律的强势介入 , 而另一边则是来自民间个人的智慧 。

俄罗斯搜索巨头 Yandex 的技术开发总监Grigory Bakunov发明了一种反面部识别方法 。 其实这种方法理解起来很简单 , 就是在脸上用特殊颜料多添几笔 , 干扰系统对人脸特征的提取 。

「虎嗅网」一场突如其来的校园监视危机

----「虎嗅网」一场突如其来的校园监视危机 //----[ http://www.caoding.cn]

而日本一位名叫 Isao Echizen的教授为了保护隐私 , 发明了一种利用红外发光二极管来干扰人脸识别的眼镜 。 因为这种人类看不见的红外光可以在摄像头的“眼”中呈现出明亮的紫色 。

「虎嗅网」一场突如其来的校园监视危机

----「虎嗅网」一场突如其来的校园监视危机 //----[ http://www.caoding.cn]

当然 , 还有多种“杀马特”造型供学生们以及不愿意泄露面部数据的成年人们选择:

「虎嗅网」一场突如其来的校园监视危机

----「虎嗅网」一场突如其来的校园监视危机 //----[ http://www.caoding.cn]

隐私保护的漫漫长路

如何保护隐私?这个问题存在很长时间 , 但似乎无解 。

因为所处的环境不同 , 以及每个人对隐私的定义也不同 , 导致我们不能做过多解读 。

譬如 , 援引美国独立研究员Stephanie Hare的话来解释 , 人脸识别系统的最大问题之一是涉及到生物特征数据 , 换句话说 , 就是人体信息 , 这无疑与我们的隐私有关 。

但这次旷视引发的讨论中 , 有小部分人对“这种做法是否真的侵犯了隐私”提出了质疑 。

譬如“既然家长可以把学生的情况反映给家长 , 为什么机器不能汇集更丰富的信息给家长?” , 再譬如“未成年人到底有没有独立于成年人的隐私权”?

这个时候 , 只能搬出最“教条”的东西来了:

《教师法》赋予了老师管理学生的权利 , 法律赋予了机器什么?

而第二个问题本身就是有问题的 。 《未成年人保护法》明确表示未成年人具有隐私权 , 之所以一直被侵犯 , 跟成长教育环境有很大关系 。

从本质来看 , 这些质疑声恰恰凸显出随着技术发展 , 法律一定要强势介入的必要性 。

但是每次涉及到隐私问题 , 我们的担忧都会在一次集中爆发后 , 又迅速销声匿迹 。

2016年Facebook人脸识别被控侵犯隐私如此 , 2018年亚马逊智能音箱等企业被爆偷听偷录用户日常数据也是如此 。 如今 , 在换脸视频app Zao的使用热度过去 , 对AI教室监控产品的讨伐声结束 , 大概对隐私被侵犯的控诉仍然会不了了之 。

所以我们根本不应该去指责百度CEO李彦宏在去年中国高层发展论坛上发表的“中国大多用户愿用隐私来换取便捷服务”的言论 , 扪心自问 , 我们有多少人心里是这么想却不敢说?

而回到这个问题上 , 当学生们即便同意自己的身体信息被收集和分析 , 那么参与方有没有征求过这些机器直接作用方的意见呢?

是的 , 这就像我们去用计算机视觉去检测桃子的大小形状以及腐烂程度 , 用人脸识别以及多种生物识别方法来监测猪的生长情况与肥壮健康程度 , 最终我们也把这套固化的标准 , 用在了我们自己身上 。

是的 , 我举手0次 , 打瞌睡10次 , 笑了0次 , 我就是一个坏学生 。

而孩子们会不会在这样隐形的压力下有了更加符合人性的“特长” , 譬如学会装模作样 , 学会接受把这套机器用在下一代身上 。

因此 , 在酿成大错之前 , 我们更应该着手去做的 , 是让隐私保护问题引起更多人的重视和推动相关法律的确立 , 而不是把口水喷到一家公司的身上 。

最后 , 引用知乎上一位回答“如何看待旷视科技新产品监视学生上课?”得到最高赞的匿名人士的一段感概作为结语:

“这不是产品经理或者程序员的问题 , 不是一家公司的问题 , 甚至不是一个技术问题 。 这是我们社会的价值观的问题 , 是我们怎么看待自身权益的问题 。 ”


    推荐阅读