AI被一件T恤蒙蔽“双眼” 见识不够是根本原因

  AI被一件T恤蒙蔽“双眼” 见识不够是根本原因

  本报采访人员 谢开飞

  通 讯 员 许晓凤 王忆希

  只要穿上一件印有特殊图案的T恤 , 就能骗过AI人体检测系统 , 从而达到“隐身”效果?


AI被一件T恤蒙蔽“双眼” 见识不够是根本原因

----AI被一件T恤蒙蔽“双眼” 见识不够是根本原因//----

时尚资讯

  近日 , 这一场景真实上演 。 美国东北大学和麻省理工学院等研究机构 , 共同设计了基于对抗样本技术的T恤 。 据研究人员介绍 , 这是全球首个在非刚性物体(如T恤)上 , 进行的物理对抗性实验 。 AI人体检测摄像头无法准确地检测出穿着该T恤的行人 , 无论衣服发生怎样的褶皱或变形 , 都能达到“隐身”效果 。

  这件能让人在AI人体检测系统下“隐身”的T恤 , 其背后的原理是什么?这种缺陷会不会导致安全问题 , 要如何解决?科技日报采访人员就此采访了有关专家 。

  特殊图案便能骗过AI的“眼睛”

  在本次实验中 , 一位穿着白T恤的男性和一位穿着黑T恤的女性从远处走来 , 在AI人体识别摄像头下 , 只能看到穿黑T恤女性的身影 。

  这是如何做到的?原来研究人员使用了一种被称为对抗攻击的方法来欺骗AI 。 仔细观察 , 白T恤上印有不同的色块 , 这些色块在人眼看来与普通图案无异 , 但对于机器来说 , 却会造成一定干扰 。

  中国科学院自动化研究所王金桥研究员解释说 , 科研人员对原T恤上的图案进行修改 , 通过技术手段生成具有较强干扰性的图案替换原有图案 , 改变了T恤原有的视觉外观 , 使得AI模型对数据标签的预测发生混淆和错误 , 从而到达攻击的目的 。

  “攻击者通过构造微不足道的扰动来干扰源数据 , 可以使得基于深度神经网络的人工智能算法输出攻击者想要的任何错误结果 。 而这类被干扰之后的输入样本被称之为对抗样本 。 ”王金桥说 。

了解到   对抗样本在实际中主要用来检验一些安全系数较高的系统 , 通过对抗的方式来提高AI模型的安全性 , 抵御可能面临的安全风险 。 比如刷脸支付 , 它必须具有一定的抗攻击能力 , 以便避免灾难性的后果 , 比如不能让攻击者简单地利用照片或者定向修改原输入就能破解用户支付系统 。

  有实验表明 , 对于一个正确分类的熊猫图像 , 在加入特定对抗样本的干扰之后 , 人眼看到的仍然是熊猫 , 但是AI图像识别模型却将其分类为长臂猿 , 且置信度高达99% 。

  不过 , 将对抗性图案印在衣服上这种欺骗AI的方式有一个缺陷 , 只要图案的角度和形状发生变化 , 就会轻易被识破 。 过去在设计对抗样本时 , 通常采用一些简单的变换 , 比如缩放、平移、旋转、亮度、对比度调整以及添加自适应的噪声等 。


推荐阅读