江苏龙网

  1. 首页 > 资讯 > 科技 > >

机器之心|全球首例，Adversarial T-shirt让你在AI检测系统隐身


基于 AI 目标检测系统生成的对抗样本可以使穿戴者面对摄像头「隐身」 。
由美国东北大学林雪研究组 ， MIT-IBM Watson AI Lab 和 MIT 联合研发的这款基于对抗样本设计的 T-shirt (adversarial T-shirt) ， 让大家对当下深度神经网络的现实安全意义引发更深入的探讨 。 目前该文章已经被 ECCV 2020 会议收录为 spotlight paper（焦点文章） 。
机器之心|全球首例，Adversarial T-shirt让你在AI检测系统隐身
本文插图

论文链接：https://arxiv.org/pdf/1910.11099.pdf
在人脸识别和目标检测越来越普及的今天 ， 如果说有一件衣服能让你在 AI 检测系统中「消失无形」 ， 请不要感到惊讶 。
机器之心|全球首例，Adversarial T-shirt让你在AI检测系统隐身
本文插图

熟悉 Adversarial Machine Learning（对抗性机器学习）的朋友可能不会觉得陌生 ， 早在 2013 年由 Christian Szegedy 等人就在论文 Intriguing properties of neural networks 中首次提出了 Adversarial Examples（对抗样本）的概念 。 而下面这张将大熊猫变成长臂猿的示例图也多次出现在多种深度学习课程中 。
很显然 ， 人眼一般无法感知到对抗样本的存在 ， 但是对于基于深度学习的 AI 系统而言 ， 这些微小的扰动却是致命的 。
机器之心|全球首例，Adversarial T-shirt让你在AI检测系统隐身
本文插图

随着科研人员对神经网络的研究 ， 针对神经网络的 Adversarial Attack（对抗攻击）也越来越强大 ， 然而大多数的研究还停留在数字领域层面 。 Jiajun Lu 等人也在 2017 年认为：现实世界中不需要担心对抗样本（NO Need to Worry about Adversarial Examples in Object Detection in Autonomous Vehicles） 。
他们通过大量实验证明 ， 单纯地将在数字世界里生成的对抗样本通过打印再通过相机的捕捉 ， 是无法对 AI 检测系统造成影响的 。 这也证明了现实世界中的对抗样本生成是较为困难的 ， 主要原因归于以下几点：
像素变化过于细微 ， 无法通过打印机表现出来：我们熟知的对抗样本 ， 通常对图像修改的规模有一定的限制 ， 例如限制修改像素的个数 ， 或总体像素修改大小 。 而打印的过程往往无法对极小的像素值的改变做出响应 ， 这使得很多对于对抗样本非常有用的信息通过打印机的打印损失掉了 。
通过相机的捕捉会再次改变对抗样本：这也很好理解 ， 因为相机自身成像的原理 ， 以及对目标捕捉能力的限制 ， 相机无法将数字领域通过打印得到的结果再次完美地还原回数字领域 。
环境和目标本身发生变化：这一点是至关重要的 。 对抗样本在生成阶段可能只考虑了十分有限的环境及目标的多样性 ， 从而该样本在现实中效果会大大降低 。
近年来 ， Mahmood Sharif 等人（Accessorize to a crime: Real and stealthy attacks on state-of-the-art face recognition.）首次在现实世界中 ， 通过一个精心设计的眼镜框 ， 可以人脸检测系统对佩戴者做出错误的判断 。 但这项研究对佩戴者的角度和离摄像头的距离都有严格的要求 。 之后 Kevin Eykholt 等人（Robust Physical-World Attacks on Deep Learning Visual Classification）对 stop sign（交通停止符号）进行了攻击 。 通过给 stop sign 上面贴上生成的对抗样本 ， 可以使得 stop sign 被目标检测或分类系统识别成限速 80 的标志！这也使得社会和媒体对神经网络的安全性引发了很大的探讨 。
然而 ， 这些研究都还没有触及到柔性物体的对抗样本生成 。 可以很容易地想象到 ， 镜框或者 stop sign 都是典型的刚性物体 ， 不易发生形变且这个类别本身没有很大的变化性 ， 但是 T 恤不同 ， 人类自身的姿态 ， 动作都会影响它的形态 ， 这对攻击目标检测系统的人类类别产生了很大的困扰 。


推荐阅读


上一篇：科学|一种新型智能织物可根据温度自行充气和放气

下一篇：云计算|限时免费欢迎体验！腾讯云SOC推出云上“安全体检”功能