黑客如何用一副纸眼镜，就“弄瞎”人脸识别算法？
特朗普抬起左手 ， 手指捋一捋炸毛的亮黄色头发 ， 右手紧握美国总统特制签名笔 ， 笔尖流水般滑过米白色纸面 ， 墨水凝结 ， 字迹微干 。
大名鼎鼎的美国《2019年国防授权法案》 ， 经参众两院审议 ， 由美国总统签署生效 。 这一刻 ， 也标志着 ， 数字伪造技术（DigitalContentForgery）正式被写入大国史册 。
每一年 ， 海量的技术专利如潮水般问世 ， 为何这一项技术写入《法案》？
如今 ， 信息以光速传播 ， 错误信息 ， 混杂其间 。 小蒙小骗 ， 大欺大诈 ， 干扰选举 ， 煽动暴力 ， 搅动政局……
谣言动动嘴 ， 辟谣跑断腿 。 还有一个噩耗 ， 人工智能也掺和进去了 。
阳光普照 ， 人工智能赋能百业千行 ， 挽起袖子进车间厂房 ， 提起裤腿下田间地头 。 阳光照不到的地方 ， 在Boss直聘上高薪诚聘“资深人工智能算法专家”的也可能是黑色产业 。
早在2018年 ， 一段骂特朗普的视频在全美疯传 。 骂人者不是别人 ， 正是美国前总统奥巴马 ， 他在视频中一本正经：
“Simply,PresidentTrumpisatotalandcompletedipshit.（简而言之 ， 特朗普总统就是个彻头彻尾的笨蛋 。 ）”
吃瓜群众 ， 喜大普奔 。
特朗普 ， 咬牙切齿 。 以特朗普的个性 ， 很可能对深度伪造（DeepFake）这一人工智能新技术怀有私愤 。
人工智能的进步 ， 导致计算机能随心所欲地让视频中的人物“变脸” ， 人声“变调” 。 有视频和录音“为证” ， 掀起一场彻底粉碎“不在场证据”的狂欢 。
未来的趋势是 ， 技术审查和政府监督的鞭子会越抽越狠 。 手举鞭子吓唬人的昨天已逝 ， 现在是一鞭子下去 ， 得皮开肉绽 。
在人工智能高超的造假能力未受重视之前 ， 美国政府也只是消极防御 。 有一天 ， 华盛顿的国会山知道了一件事——“外国不法分子伪造信息祸害美国大选” ， 他们的态度立刻反转 。
两院“围剿” ， 毫无悬念 。
《法案》定义 ， “深度伪造技术”正式归为“数字内容伪造” ， 是“使用新兴技术（包括人工智能和机器学习技术）来制造或操纵音频、视觉或文本内容 ， 以达到误导他人的目的” 。
《法案》规定 ， 美国国土安全部负责对“数字内容伪造技术”详尽调查 ， 此后得定期汇报 。 法案颁布之日起5年内 ， 国土安全部部长每年向科学技术部长提交报告 。
两部“碰头” ， 铁板钉钉 。
层层警报 ， 级级重视 ， 美国最高司法机构的态度 ， 越描越明确 。
深度伪造技术 ， 是一次技术的滥用 。 啼笑皆非的是 ， 这一技术的开源社区还非常活跃 ， 软件可以上网免费用 ， “科技作恶”的门槛一降再降 。
若以“假脸”论英雄 ， 深度伪造 ， 可谓风光一时 。
殊不知 ， 人工智能暗藏一股更强大的力量——对抗样本（adversarialsample）技术 。
掌握了对抗样本 ，
只戴一副打印的纸眼镜 ， 就可以“弄瞎”手机锁屏的人脸识别 。
掌握了对抗样本 ，
破解APP人脸识别功能 ， 可以分分钟假冒支付宝用户消费、授权网银转账、冒充滴滴专车司机 。
一场你想是谁就是谁的表演 ， 即将上演 。
镜头一：人工智能学派 ， 几十年来沐雨栉风 ， 几经浮沉 。 一代宗师甩袖抛给弟子一本《对抗攻击算法拳谱》 ， 飘然远走 。
镜头二：黑客在大雨中狂奔 ， 一个剧烈的跪滑 ， 表情狂放 ， 仰天长啸：“到底什么是对抗样本？”
镜头三：视频网站B站 ， 瑞莱智慧RealAI公司（下文简称“RealAI公司”）的研究人员 ， 戴上一副纸眼镜 ， 秒级“弄瞎”人脸识别算法 。
这已经不是我第一次寻访研究对抗攻击算法的科学家 ， 这次我探访到了RealAI公司的安全算法负责人 ， 萧子豪 。
而他的高中时代活出了一个新闻标题——《别人在高考 ， 保送清华学霸现身考场 ， 为同学加油助威》 。 脑补萧子豪在电视台采访人员的话筒前 ， 淡然一笑 ， 表示：“考试没有什么压力 ， 因为我已经保送清华大学物理系了 。 ”
技术的魔力 ， 需以一个实验来说明 ， 才能眼见为实 。
视频中 ， 不明身份男子（该角色由萧子豪本尊扮演）戴上一副说不清是爱马仕 ， 还是香奈儿的时尚眼镜 ， 花纹浮夸 ， 色调刻意失真 ， 一股艺术气息扑面而来 。 感觉是走秀Party ， 而不是黑客攻击的案发现场 。
为什么只戴一副打印的纸眼镜 ， 就可以“弄瞎”手机的人脸识别算法？先讲解步骤 ， 再给出前沿学术论文的解释 。
第一步 ， 准备三个材料：攻击者的一张照片 ， 受攻击者的多张照片 ， 和一个深度学习人脸识别算法模型（开源的模型也可以） 。 讲到这里就顺口一提 ， 很多人不在乎隐私保护 ， 社交网站、朋友圈里有大量眉清目秀、五官清晰的照片 ， 这都可能被黑客恶意保存 。
“极端情况下 ， 只用受攻击者的一张照片也可以 ， 只是成功率会低一些 。 ”这一句 ， 萧子豪加重了语气 。
第二步 ， 将三个材料输入攻击算法 ， 生成攻击人脸识别算法 。 这里的攻击算法就是知识产权的核心 。 算法会利用人脸识别算法模型 ， 从受攻击者的照片中提取他/她的人脸信息 ， 然后在攻击者的照片上构造出攻击用的对抗图案 。 一般情况下 ， 研究人员称攻击算法生成的图案为对抗图案 。 对抗图案叠加在原来的图片上 ， 得到带有攻击功能的图片 ， 叫对抗样本 。 （对抗图案+原有图片=对抗样本 ， 对抗样本指的是整张图 ， 对抗图案既可以是局部的 ， 也可以是全局的 。 ）
黑客的眼镜是算法生成的局部图案 。
第三步 ， 用攻击算法生成的这张图 ， 打印制作成眼镜 。 表面上 ， 是一副普通的眼镜 。 背地里 ， 眼镜上的局部图案是对抗样本 。 戴上眼镜的人 ， 面对手机 。 随后 ， 发生不可思议的一幕——佩戴了这副眼镜 ， 瞬间成功解锁手机 。
有兴趣的群众 ， 可以研究一下视频中手机的品牌 ， 苹果、华为 ， 还是小米 。
而本文关注这个实验中的三个知识点：黑盒、纸眼镜、迁移性 。
这是一个典型的黑盒攻击的黑客实验 。
萧子豪解释道 ， 进行攻击的算法和遭受攻击的算法 ， 就像战争中的敌我两方 。 这两种算法可能不是同一个模型 ， 背后原理是抓住了人脸模型之间的相似性（虽然人脸识别模型各有千秋 ， 但是都属于深度学习模型 ， 免不了会有相似性） 。 攻击算法寻找、挖掘、抓住不同人脸识别模型之间的相似性 ， 同时放大 ， 这样就有攻击的机会 。 换句话说 ， 只要攻击者能够从人脸识别模型里面挖掘出漏洞（相似性） ， 就能够攻击模型 。
研发攻击算法的过程中 ， 挖掘相似性是一件很耗神、很熬人的事 。
我们都知道 ， 手机里的人脸识别算法需要将摄像头采集到的人脸信息作为输入的信息 。 手机上装载的人脸识别算法对黑客来说就是黑盒 。 因为在攻击之前 ， 完全不知道其中的原理 ， 所以称之为黑盒攻击 。
纸眼镜有什么讲究呢？眼镜是一个物理世界的真实物件 ， 黑客戴上眼镜 ， 就是为了改变人脸面部的特征 。 在做眼镜的时候 ， 黑客还要考虑很多来自外部环境的干扰 。 室内的光照 ， 打印机的色差 ， 都会影响攻击效果 。 所以 ， 需要有一些色彩矫正算法 ， 或者一些光线补偿的算法 ， 保证最后打印出来的眼镜在实际场景中能够攻破手机的人脸识别算法 。
答案是迁移性 。
萧子豪说：“借用迁移学习的思路 ， 有利于增加对迁移性的理解 。 ”不过这样的解释还不够有诚意 。 他又补充道：“好比每个人都有常识 ， 神经网络也有自己的常识 。 人和人想法会差很远 ， 神经网络也是一样 。 不同神经网络之间用不同的语言 。 但是 ， 可以用常识沟通彼此都认可的事情 。 ”
“神经网络也有自己的常识”是萧子豪打的一个比方 ， 他也愿意用“心理学或者生物学原理”来替代 。
就是说 ， 虽然人和人的想法/体质会差很远 ， 但他们都会有相似的心理或者生理弱点 。
前沿论文告诉我们 ， “对抗样本的一个有趣特性就是具有良好的可迁移性 ， 这使得实际应用的黑盒攻击变得可行 。 ”
“通过将动量项整合到攻击的迭代过程中 ， 该方法可以稳定更新方向 ， 并在迭代过程中避开局部最大值 ， 从而得出迁移性更优的对抗样本 ， 进一步提高黑盒攻击的成功率 。 ”
今时今日 ， 以对抗算法的地位 ， 将其定义为人工智能算法前沿 ， 丝毫不为过 。 而学术论文又在为其方法的迭代与演化 ， 提供源源不断的新鲜思路 。
纸眼镜的思路 ， 也能用在云计算厂商人脸识别算法的API攻击中 。
一般情况下 ， APP开发者不会自己研发人脸识别算法 ， 而是通过第三方的API接口或SDK组件来获得人脸识别功能 ， 这个第三方 ， 可以是云计算厂商 。 黑客直接将对抗样本图上传到云厂商的API ， 进行攻击 。 这种对抗样本同样也可以使亚马逊、微软等人脸识别平台的服务出现严重的识别错误 。
这也是一个典型的黑盒攻击 。
将对抗样本用纸打印出来 ， 黑客可以直接作为“作案工具” 。 也就是说 ， 对抗样本通过区区打印的照片就可以攻击那些算法工程师冥思苦想才能提高精确度的人脸识别算法 。 给人脸识别系统捣乱 ， 听上去如此的轻而易举 ， 似乎成了春田花花幼稚园手工课的作业 。
对抗样本技术 ， 是在用算法欺骗算法 。 这里的算法 ， 是深度神经网络算法 ， 是人工智能算法的一种 。 所以 ， 也算人工智能骗人工智能 。
黑盒攻击不是《聊斋志异》里的鬼故事 ， 也不是《哈利波特》里的黑魔法 。 对抗样本“走出”学术论文 ， 现身于真实的生活环境 。
萧子豪特别提起2017年那场比赛 ， 这是一个标志性事件 。 这场对抗样本攻防赛 ， 由谷歌公司赞助 ， 由图灵奖获得者IanGoodfellow牵头 ， 在NIPS顶级学术会议期间举办 。 参赛团队均来自全球顶级院校 ， 清华大学团队在竞赛的全部三个项目中得到冠军 。 由清华大学博士生董胤蓬、廖方舟、庞天宇及指导老师朱军、胡晓林、李建民、苏航组队 。
朱军教授在ICLR2020会议的署名论文数量排名中 ， 位居世界第二 。
大风起于青萍之末 。
竞赛中 ， 之前的很多积累都用上了 ， 其中一种方法——广泛的基于梯度的迭代算法来增强对抗攻击（MomentumIterativeMethod ， MIM） ， 被两位图灵奖得主J.Hopcroft教授、G.Hinton教授在ICLR2019等论文中大幅引用 ， 也被该领域主流开源项目FoolBox、Cleverhans等收录为对抗攻击的标准算法 。
方法出自名为《BoostingAdversarialAttackswithMomentum》的论文 ， 这一方法被称为代表性方法 。 人工智能算法领域 ， 事实性标准最为难得和宝贵 。
2017年 ， 清华大学计算机科学与技术系人工智能实验室就开始研究这一领域 。 最初刷学术数据集 ， 后面不断地提升攻击的成功率 。 有了RealAI公司之后 ， 打磨重点从图像分类往人脸识别去切 。
一群科研人员掌握独门技术 ， 认为技术切实可行 ， 判断应用价值大 ， 那就出发 ， 冷静且理性 。
算法研究 ， 靠理论指导方向 ， 靠做大量的实验来实现 ， 对抗算法也是如此 。 理论和其实现无法替代 ， 实现的过程需要征服大量细节 ， 而细节存在于大量的实验中 ， 多番尝试 ， 才能追求更好 。 就好比化学实验 ， 摸索某种配方比例 。 积累得够久 ， 才会形成技术壁垒 。
都说技术壁垒是技术创业者的护城河 。 人工智能的护城河饱受质疑 ， 仿佛人人手里有把尺子 ， 伸手就能量出人脸识别算法公司技术壁垒有多高 。
“对抗算法属于人工智能算法 ， 你怎么看别人手中这把尺子？”
萧子豪的观点是 ， 技术周期上的领先不会太久 ， 领先6个月到12个月 ， 最后也会都被别人赶超 。 但是 ， 对抗算法有一个独特之处 ， 使得其不会重度依赖从数据上获得的优势 。
猛一听 ， 这是个缺点 。 然而 ， 面对越来越重视隐私保护的法律环境 ， 这是名副其实的长处 。
人脸识别算法信奉“人海战术” ， 越是人脸数据训练出来的模型 ， 效果越好 。 一个亿的人脸数据用二流设计的算法训练 ， 一千万人脸数据用一流设计的算法训练 ， 前者的准确率往往会更高 。 这就是一亿人脸数据带来的优势 。
做人脸识别算法的人可能需要到处找“照片” ， 做对抗算法的人 ， 则无此忧虑 ， 因为这种算法训练所需的数据量并不大 。
香港电影《盲探》中 ， 刘德华饰演探案警官 ， 在连续高强度工作后因视网膜脱落而双目失明 。 靠肉眼夜以继日地盯着监控视频录像 ， 查找犯罪嫌疑人 ， 并不现实 。 所以 ， 人工智能纷纷在视频监控里上岗 ， 查找视频中和犯罪分子相似度超过97%的人脸 。
可惜 ， 椅子还没有坐热 ， “对抗样本”的攻击就可能让人工智能看花了眼 。 眼看“犯罪嫌疑人”进入监控区域 ， 结果就是找不到 。 因为对抗样本可以制造监控视频里的“隐身人” 。
这也许会让海康威视和大华股份这样的监控摄像头厂商紧张 。 业界是否已有类似的攻击极难调查 。 谁丢人谁心里知道 ， 吃了亏被窝里流泪 ， 绝少会有人脸识别算法的厂商宣布受到对抗算法攻击的数据 ， 所有电商企业也都不会说自己一年会被黑产薅多少羊毛 。
危险之处还在于 ， 浑然不觉 。
安全极客们在镁光灯下相会 ， 聚在属于自己的“光明顶”——GeekPwn国际安全极客大赛 。
2018年 ， 选手用对抗样本攻击让主持人蒋昌建的照片被识别为施瓦辛格 ， 以此事件“宣告”攻破亚马逊名人识别系统 。
2019年 ， 对抗样本“隐身术”挑战目标检测系统识别 。 选手需要在A4纸上打印出干扰识别的隐身图案 ， 实现“隐身” ， 纸张面积随意 。 是的 ， 他们就是想用一张纸骗过监控 ， 也就是在监控视频中隐身 。
萧子豪也参加了比赛 ， 他告诉我 ， 隐身不同于对手机和云厂商API攻击的地方是：
“隐身是攻击物体检测 ， 手机和云厂商是攻击人脸识别 ， 被攻击的模型不同 。 物体检测模型攻击难度更大 ， 因为其模型内置有对局部遮挡不敏感的能力 。 ”
北京夏季的三伏天 ， 挥汗如雨 ， 人像闷在皮鞋里的脚趾 。
RealAI公司位于清华科技园 ， 距离清华大学东门只有几百米 ， 萧子豪常去学校泳池消暑 ， 拍打水面 ， 水花落下 ， 气泡上升 ， 哗啦作响 ， 沉在水底的蓝色里 ， 既安静又放松 ， 仿佛只剩下他的思考和水的浮力 。
没有人会怀疑保送生的智商 ， 也没人会怀疑清华学子的自律 ， 而萧子豪告诉我 ， 坚持和抗压比聪明更重要 。
他的体会是：
“把一个新的事物往前推 ， 是一件很难找到方向的事情 。 研究算法的过程中 ， 会被一个问题困扰一到两年、或者数年 。 如果所有的精力都用来对抗压力 ， 人会被困住 ， 没有办法前进 。 有人尝试个一两百次 ， 情绪开始波动 ， 就干不下去了 。 迷茫的新手试错次数更多 ， 所以 ， 很多人都被阻挡在门外了 。 ”
火车跑得快 ， 全靠车头带 。 目前 ， 对抗样本的“火车头”并非工业界 ， 而是学术界 。
2013年 ， 在谷歌公司约有十年工龄的人工智能科学家ChristianSzegedy和其他研究者先在图像分类的深度学习模型中发现了对抗样本 。
随后 ， 前谷歌大脑的年轻科学家伊恩·古德费洛（IanGoodfellow）等研究者发现了快速攻击的对抗算法 。
而后 ， 对抗性样本的研究越来越多 。
随着研究推进 ， 文本处理、语音识别、自动驾驶、恶意软件检测等深度学习表现好的领域 ， 统统都被对抗样本攻击了 ， 甭管用循环神经网络 ， 还是强化学习 。
“对抗样本”骄傲地笑了 ， 它就是能让人工智能算法失效 ， 让人工智能算法错误分类 。 专业解释就是 ， 黑客对照片里的像素 ， 进行不可察觉的微小扰动 ， 可以使深度神经网络以较高的置信度错误分类 。
这里 ， 还有两个知识点 ， 一个是较高的置信度 ， 另一个是攻击结果 。
这个“较高的置信度” ， 可以理解为深度神经网络错误分类的时候 ， 自以为有较大的概率自己判断（分类）对了 。 这种迷之自信 ， 更让人觉得背后发凉 ， 汗毛倒立 。 “我以为我做对了”的误判比起“我拿不准我是否做对了” ， 前者似乎更糟糕 。
黑客操纵了人工智能算法的计算结果 ， 甚至可以指定发生结果 。 一种是 ， 把易烊千玺识别成别人就可以了 ， 这个别人 ， 爱谁是谁 ， 你和我都行 。 另一种是 ， 无论别人是谁 ， 都识别成易烊千玺 。 （在专业术语中 ， 前者是非目标攻击 ， 后者是目标攻击 。 ）
奥巴马“假脸风波” ， 让深度伪造技术名噪一时 。 对比看来 ， 深度伪造技术只是用算法去欺骗人类的肉眼 ， 而对抗样本技术则是要欺骗算法 。
算法与算法 ， 决战紫禁之巅 。
成千上万次的计算 ， 人工智能最终能熟练地完成任务 。 这么好的技术 ， 在一些领域的表现超越了人类 ， 怎么好端端就傻了呢？
攻防是道法 ， 也是术势 。
“生为算法 ， 却又不为造假而来 。 ”是对抗样本的内心独白 。
攻击与防御在学术界是一种研究思路 ， 在大型企业安全部门也是方法论 。 京东安全首席架构师耿志峰 ， 也曾在聊天时告诉我：
“攻防是信息安全的本质 。 所以 ， 京东安全团队内部会定期开展大规模红蓝对抗的攻防演练 。 ”
“外练筋骨皮” ， 企业安全团队 ， 红蓝对抗 。
“内练一口气” ， 神经网络与对抗样本 ， 相互对抗 。
对抗样本是提高人工智能鲁棒性的拳法 ， 其终点是彻底搞懂深度神经网络 。 深度神经网络是人工智能诸多算法的代表作 ， 大放异彩 。 人脸识别用得越多 ， 威胁也越多 。
魔高一尺 ， 道高一丈 。
虽然 ， 人脸识别黑盒攻击的成功率还是可观的 ， 但是 ， 在自动驾驶等领域 ， 还需要研究者去研究提升攻击成功率的方法 。
虽然 ， 现在深度学习+安全的应用场景还比较有限 ， 能被攻击的对象比较少 ， 但是 ， 未来潜在威胁会越来越多 。
虽然 ， 对抗样本攻击在许多场景下还需要适应性地调整和优化 ， 但是 ， 尤擅此类的黑客还比较少 ， 技术还处于起步阶段 。
明刀易躲 ， 暗箭难防 。
潜在的危险比已知危险更有破坏力 。
前沿论文中的理论告诉我们：
“评估最新的人脸识别模型在基于决策的黑盒攻击环境下的鲁棒性 ， 即无法访问模型参数或梯度 ， 只能通过向目标模型发送查询来获取预测标签 。 这种攻击在实际情况的人脸识别系统中更为实用 。 ”
“一种基于演化算法的高效攻击方法 ， 充分利用搜索空间的局部几何特性 ， 并通过降低搜索空间的维数来提高攻击效率 。 大规模实验表明 ， 该方法比已有的攻击方法更高效 ， 能够以较少的查询对输入的人脸图像产生最小的扰动 。 ”
对新技术敏感的人 ， 齐声高呼：“人工智能变身黑客啦 ， 求解救 ， 在线等 ， 挺急的 。 ”
对新技术麻木的人 ， 半眯着眼睛 ， 不屑一顾地说：“我们这里 ， 还没有这样的情况（需求） 。 ”
老警察会告诉你 ， 凌晨三四点是入室盗窃的高发时段 。 人在熟睡中 ， 一时半会还觉察不到被贼偷了 。 黑产对企业进行攻击也是如此 ， 很有可能没有被发现 ， 一切还在不知不觉中 。
有人可能会说 ， “人工智能换脸”这种好事 ， 还是请领导和土豪先试用 。 毕竟 ， 黑客肯定盯着高端人士 ， 未必轮得上群黎百姓 。
殊不知 ， 给视频中人脸造假的暗潮 ， 汹涌 。
根据创业公司Deeptrace的报告 ， 到2019年初 ， 互联网上流传的视频 ， 可以确定为深度伪造技术生产的 ， 有7964个 。 仅仅9个月后 ， 这个数字就跃升至14678个 。 根据生活赋予我们的吃亏经验 ， 如果没有工商部门的强势执法 ， 造假的产量不会下降（除非销量不好） 。
现实中 ， 专门制造假货的江南皮革厂可以倒闭 ， 而深度伪造技术软件则是免费复制 。 造假和欺骗是一种病毒 ， 还会变成流行性病毒 。
在图像识别、语音识别等模式识别任务中 ， 深度学习的准确度超越了人类 ， 这也就是近几年的事 。 辉煌战绩一眨眼就散去 ， 技术缺陷和可解释性问题倒像个没有尽头的迷宫 。
的确 ， 人工智能刚有点能耐 ， 就受到攻击 ， 这真是够闹心的 。 深度神经网络的台词是：“我很man ， 是硬科技 ， 也有脆弱的一面 。 ”
那人脸识别算法厂商又如何看待对抗攻击算法商业化落地呢？
一位国内著名安防公司的研发副总裁 ， 这样对我说：
“这种新闻一开始很吓人 ， 尤其是当YOLOV3这种著名的神经网络被攻破的消息传出来后 ， 公司总裁专门把报道用微信转发给我看 。 我们研发团队内部也专门分派人手去分析研究 。 ”
“对于这一趋势 ， 我有两方面的态度 ， 一方面 ， 对抗算法的商业化落地 ， 不算是对人脸识别算法厂商的叫板 。 攻破后 ， 我们就需要在网络结构设计上再动脑筋；另一方面 ， 这不是一件坏事 ， 反而带来新思路 ， 都在为提高算法鲁棒性努力 。 值得重视的是 ， 如果在人脸识别算法的竞标中 ， 增加对抗样本的测试环节 ， 会对行业产生震动 。 ”
他还补充道：“对抗算法开发难度较大 ， 相信各方都在努力 。 未来 ， 对抗算法究竟有多大的能量 ， 大家都要拭目以待 。 ”
RealAI公司CEO田天博士的观点也同样不拘泥于算法间的针锋相对 ， 他关注对抗算法给人工智能产业安全带来的价值 。
“其实 ， 我们的目标客户并不是人脸识别算法公司 ， 除了我们推测他们会自己开发对抗样本相关技术之外 ， 我们更希望能够影响那些采购人脸识别算法的企业 ， 以及权威的评测机构和政府监管者 ， 推动人工智能产业安全能力的提升 。
比如国家电网集团采购了（我们公司的）算法和检测平台 ， 用于对集团内部的目标检测类算法（安防、电力设备、电路巡检）进行评测 ， 为保障电网运维安全贡献价值 。 ”
几千年前的楚国 ， 有人一手持矛 ， 一手持盾 ， 在街头叫卖 ， 旁人指出 ， “以子之矛 ， 陷子之盾 ， 何如？”
人脸识别算法和专攻人脸的对抗算法 ， 表面上犹如长矛与盾牌 。 如果仅靠嚷嚷谁的技术更厉害 ， 未免愚蠢 。 产业的要求是 ， 算法的安全级别更上一层楼 ， 是在人工智能算法的研发周期里加一道防火墙 。
我们从攻防、对抗 ， 讨论到了人工智能的根基 ， 能不能下结论说“深度神经网络”的鲁棒性还不够好？原因是不是我们研究得还不够透 ， 不够深入？
这个问题 ， 我也请教了佐治亚理工大学计算科学与工程系终身副教授 ， 机器学习中心副主任宋乐教授 ， 他与清华大学朱军教授并列顶级学术会议ICLR2020华人贡献榜首位 。
“Youcansaythat.（你可以这么说 。 ）”
他解释道：
“深度学习网络的鲁棒性还有很多没研究透彻之处 。 这包括模型设计、模型训练等一系列问题 。 比如 ， 模型设计上 ， 如何设计神经网络 ， 让它只关心人眼关心的信号 ， 以及能像人一样在识别人脸时 ， 把感知（perception）和符号化推理（symbolicreasoning）结合起来 。 ”
“再比如 ， 人在看不太清楚和有疑虑的时候 ， 会主动把注意力放在脸部细节上 ， 比如嘴巴和眼睛的形状 ， 或者脸上的表情 ， 通过判断和推理细节的正确组合来进一步识别 。 深度学习网络还不能作到这一点 。 所以 ， 后续研究的一个重要问题是：如何让深度学习把感知和符号化推理相结合？
我相信 ， 这也是人工智能下一步的重要研究方向 。 ”
而学术界众人皆知的秘密——深度神经网络容易受到对抗样本的攻击 ， 通过添加难以察觉的扰动来误导分类器 。 这也是质疑人工智能技术不够安全的原因之一 。
而工业界众人皆知的秘密——深度神经网络的安全性和性能同步增长是非常困难的事情 。 鱼和熊掌如何兼得？
一部分人关心 ， 人工智能够不够聪明？
一部分人关心 ， 人工智能够不够安全？
世事不难 ， 我辈何用 。 科学家们早已出发 ， 他们决心深入腹地 ， 探索人工智能的未来 。
于是 ， 对抗样本的论文 ， 以步兵的姿态进入人工智能所有顶级学术会议 。
在铿锵的步履声中 ， 开源社区的军号声辽远响起 ， 集结力量 ， 呼唤创新 。
哪里有唾手可得的对抗算法开源？第一波 ， 由谷歌员工开源的代码库Cleverhans ， 用于对对抗示例漏洞进行基准测试 。 这是全球最早的开源项目 ， 其中也有清华大学计算机科学与技术系人工智能研究所董胤蓬博士的贡献 。
第三波 ， 德国图宾根大学开源代码库Foolbox 。 它提供了大多数已发布的对抗性攻击方法 ， 用于基准测试 。
截至目前 ， 没有工业级别的开源对抗模型 ， 开源代码还停留在学术数据集上使用的阶段 。 没有定制化的修改 ， 工业界依然高度依赖学术界分享的成果与信息 。 全球顶级大厂也把对抗样本技术用在知名产品身上 ， 比如IBM公司的沃森 ， 亚马逊公司的Alexa ， 这一次 ， 对抗样本的责任不是攻击 ， 而是保护 。
特朗普若有座右铭 ， 那定是“顺我者昌 ， 逆我者亡” 。
他还对假视频恶搞之仇怀恨在心 。 美国总统办公室里咖啡杯摔碎了 ， 还传来咒骂声：“那个深度伪造技术 ， 你们都给我盯紧一点 ， 连我也敢戏弄 。 ”
天下一物降一物 ， “深度伪造技术”也有克制之法 。
田天博士告诉我：“深度伪造技术并非万无一失 。 生成的造假视频的画面中会有不自然的纹理存在 ， 让其学习正常情况中的纹理特征 ， 再以此检测造假视频中不一致的纹理 ， 这一方法可以用于打假 。
自古文无第一 ， 武无第二 。
“对抗样本”与“深度伪造技术”都可以造假 ， 到底谁更牛？
田天博士回答道：“对抗样本是探究神经网络的学习原理 ， 而深度伪造技术属于神经网络的应用 ， 如果要一较高下 ， 做应用比研究原理简单一些 。 ”
“无论何时 ， 只要人们谈及网络空间安全形势 ， 一定会用形势严峻、应对能力不足等悲观说法 ， 这往往会让决策者感到迷惑：网络空间安全领域为何总是缺少作为呢？”
踏过 ， 字符的河流 ，
趟过 ， 贝叶斯的浅滩 ，
互联网的信徒向赛博空间祈祷 ，
请赐理想之地 ，
只要纯净 ，
只要安全 。
可惜现代繁华包庇恶俗 ，
可惜物理世界暗藏杀戮 ，
祈祷纯净 ， 不如为良知祷告 。
寻找理想之地 ， 创造者们划着船 ， 雄浑地行在曲折的水道中 ， 他们的前进 ， 有风、有浪 ， 更有生命的激情 。
-正文结束-
对抗攻击学术论文整理：
第一篇:DefenseagainstAdversarialAttacksUsingHighLevelRepresentationGuidedDenoiser
标题：用“高阶特征引导去噪器”防御神经网络对抗攻击
摘要：众所周知 ， 神经网络容易受到对抗样本的攻击 ， 这对于其在安全系统中的应用构成了威胁 ， 本文提出了一种高阶特征引导的去噪器(HGD)来作为图像分类器的抵御方法 。 标准的去噪器通常具有误差放大效应 ， 即便是微小的残余对抗噪音也会逐步被放大 ， 最终导致图像分类错误 。 HGD通过损失函数来解决这一问题 ， 其中涉及的损失函数是由原始干净图像与去噪后的图像在目标模型中的输出差异所定义 ， 与目前最先进的针对大面积图像的防御方法比较 ， HGD具有三大优势：
第一 ， 利用HGD作为防御 ， 目标模型对白盒攻击和黑盒攻击都具有更强的鲁棒性；
第二 ， 在少量样本子集上训练的HGD能够很好地泛化到其他样本甚至没有见过的样本类别上 。
第三 ， HDG效率更高 ， 需要更少的训练数据和训练时间 。 在NIPS对抗样本防御赛中 ， 本文提出的HGD赢得了第一名 ， 并在很大程度上优于其他模型 。
第二篇：BoostingAdversarialAttackswithMomentum
标题：使用基于动量的迭代算法来增强对抗攻击
摘要：深度神经网络容易受到对抗样本的攻击 ， 考虑到可能导致严重后果 ， 神经网络的安全问题常常被提及 。 对抗性攻击是在部署深度学习模型之前评估其鲁棒性的重要手段 ， 但是现有的攻击手段在黑盒模型上的成功率非常低 。 为了解决这一问题 ， 本文提出了一类基于动量的迭代算法来增强对抗攻击效果 。 通过将动量项整合到攻击的迭代过程中 ， 该方法可以稳定更新方向 ， 并在迭代过程中避开局部最大值 ， 从而得出迁移性更优的对抗样本 。 为了进一步提高黑盒攻击的成功率 ， 本文将动量迭代算法应用到模型集合的场景中 ， 证明了具有较强防御能力的对抗训练模型也容易受到我们的黑盒攻击 。 我们希望所提出的方法可以作为评估各种深度模型和防御方法鲁棒性的基准 。 通过这种方法 ， 我们在NIPS2017对抗样本攻防竞赛的“无目标对抗攻击”和“定向目标对抗攻击”的两个项目中均获得了第一名 。
第三篇：EfficientDecisionBasedBlackBoxAdversarialAttacksonFaceRecognition
标题：高效的基于决策的人脸识别黑盒对抗攻击
摘要：近年来 ， 基于深度卷积神经网络的人脸识别取得了显著的成就 。 但是 ， 深度卷积神经网络很容易受到对抗样本的攻击 ， 这对于现实世界里用于安全目的的人脸识别应用来说 ， 可能存在巨大的安全威胁 。 为了验证当前最先进的人脸识别模型的安全性 ， 本文评估了最新的人脸识别模型在基于决策的黑盒攻击环境下的鲁棒性 ， 即无法访问模型参数或梯度 ， 只能通过向目标模型发送查询来获取预测标签 。 这种攻击设置在实际情况的人脸识别系统中更为实用 。 本文提出了一种基于演化算法的高效攻击方法 ， 充分利用搜索空间的局部几何特性 ， 并通过降低搜索空间的维数来提高攻击效率 。 大规模实验表明 ， 该方法比已有的攻击方法更高效 ， 能够以较少的查询对输入的人脸图像产生最小的扰动 。 同时 ， 我们也基于该方法对实际环境下的第三方人脸识别系统进行了攻击验证 ， 也充分展示出优越性能 。
第四篇：EvadingDefensestoTransferableAdversarialExamplesbyTranslationInvariantAttacks
标题：利用平移不变攻击应对可迁移对抗性样本的防御
摘要：深度神经网络容易受到对抗性样本的攻击 ， 通过添加难以察觉的扰动来误导分类器 。 对抗样本的是一个有趣特性就是具有良好的可迁移性 ， 这使得实际应用的黑盒攻击变得可行 。 由于对抗攻击的威胁 ， 目前已经有许多方法被提出用来提高鲁棒性 ， 其中几种最先进的防御措施均对可迁移的对抗样本表现出良好的抵御能力 。 本文提出了一种平移不变攻击方法 ， 通过产生更可迁移的对抗样本有效应对发防御模型 。 通过在一个平移图像集上优化扰动 ， 生成的对抗样本对受到攻击的白盒模型不太敏感 ， 并且具有更好的可迁移性 。 为了提高攻击效率 ， 我们进一步证明了 ， 该方法可以在未平移图像上卷积梯度来实现 。 我们的方法适用于任何基于梯度的攻击方法 ， 在ImageNet数据集的大量实验也验证了本方法的有效性 。 我们最好的攻击成绩 ， 是以82%的平均成功率愚弄了8个最领先的防御模型 ， 而且仅基于迁移性 ， 这也证实了现有防御技术的不安全 。
第五篇：ImprovingAdversarialRobustnessviaPromotingEnsembleDiversity
标题：通过提升集合多样性来提高对抗鲁棒性
摘要：虽然通过模型集合的方式 ， 深度神经网络在各种任务上取得了显著进展 ， 但现有的高性能模型却很容易受到对抗样本攻击 。 许多研究聚焦于提高单个神经网络模型的鲁棒性和可靠性 ， 然后直接构造一个模型集成策略 ， 例如直接平均输出的方法 ， 而忽略模型集成中各个子模型之间的相互作用 。 本文提出了一种新的方法来研究神经网络间的相互作用 ， 以提高模型集成方法的鲁棒性 。 从技术上讲 ， 我们将对抗环境下的集合多样性重新定义为单个网络模型的非最大预测之间的差异 ， 并提出了一种自适应多样性促进（ADP）正则化器来提升多样性 ， 这使得对抗样本很难在各个单独的网络模型之间迁移 ， 从而使整个模型集成具有更好的鲁棒性 。 我们的方法计算效率高 ， 并且兼容于单个网络模型的防御方法 。 在不同数据集上的实验结果表明 ， 我们的方法可以有效提高对抗鲁棒性 ， 同时在正常情况下能够保持领先准确性 。
第六篇：Improvingblackboxadversarialattackswithatransferbasedprior(NeurIPS2019)
标题：引入迁移梯度作为先验以提高黑盒攻击效果
摘要：在对抗攻击任务中 ， 我们关注黑盒的设定 ， 即攻击者不能完整访问到目标模型的架构和参数信息 ， 故无法直接得到模型的输出关于输入的梯度 。 先前的方法试图通过使用替代白盒模型的迁移梯度或基于查询来近似梯度反馈 ， 但是在高维空间中利用有限的信息来估计梯度是非常复杂的 ， 因此这些方法通常攻击成功率低或查询效率低 。 为了解决这一问题 ， 本文提出了一种受先验引导的随机无梯度（P-RGF）方法来改进黑盒攻击效果 ， 该方法同时利用基于迁移的先验信息和查询信息 。 通过理论推导得出的最优参数 ， 本方法将替代模型的迁移梯度先验引入到基于查询的攻击算法中 。 大量的实验表明 ， 与现有方法相比 ， 我们的方法减少了黑盒攻击成功所需要的查询数量 ， 而且成功率更高 。
第七篇：RethinkingSoftmaxCross-EntropyLossforAdversarialRobustness,ToAppearinproc.ofInternationalConferenceonLearningRepresentations(ICLR),AddisAbaba,Ethiopia,2020.
标题：对Softmax交叉熵损失函数提升对抗鲁棒性的再思考
摘要：先前的工作表明 ， 提高对抗鲁棒性的泛化性往往需要基于大而复杂的样本 ， 例如CIFAR-10数据集虽然能得到具有正常识别精度的模型 ， 但往往难以训练出鲁棒的模型 。 然而收集新的训练数据成本较高 ， 因此通过在特征空间中选择引入高样本密度的区域来集中利用给定数据 ， 能够获得局部足够样本进行鲁棒学习 。 本文首先表明了Softmax交叉熵(SCE)损失函数及其变体传递了不恰当的监督信号 ， 这促使学习获得的特征点在训练过程中稀疏地散布在整个空间中 。 在此思路的启发上 ， 本文主要提出MMC损失函数（Max-Mahalanobis）方法 ， 以明确诱发密集的特征区域提高鲁棒性 。 也就是说 ， MMC损失函数促使模型专注于有序和紧凑的学习表示 ， 这些表示聚集在预先设定的用于不同类的最优中心周围 。 根据经验证明 ， 即使在强自适应攻击下 ， 应用MMC损失函数也能显著提高鲁棒性 ， 同时在不需要额外计算的情况下 ， 在纯净输入样本上保持与SCE损失相当的高精度 。
第八篇：MixupInference:BetterExploitingMixuptoDefendAdversarialAttacks ， ICLR2020.
标题：利用混合推理更好地防御对抗样本攻击
摘要：众所周知 ， 对抗样本能够很容易欺骗深度神经网络 ， 这主要由于神经网络在输入样本附近的不合理表现 。 Mixup训练模型则提供了一种有效的防御机制 ， 在训练中引入了全局线性行为 ， 从而提升模型的泛化性能和鲁棒性 。 但是 ， 此前Mixup训练的模型只是对输入样本做直接分类 ， 并不能够很好的利用引入的全局线性 ， 所以面对对抗样本攻击时只是被动防御 。 本文主要对Mixup训练模型开发了一个名为“Mixup推理”（MI）新推理原理 ， 将输入样本与其他随机纯净样本混合 ， 如果输入样本是对抗性的 ， 则缩小并传递等效扰动 。 通过在CIFAR-10和CIFAR-100数据集上验证表明 ， MI可以进一步提高由Mixup训练模型及其变体训练模型的鲁棒性 。
值得一提的是 ， 清华大学计算机科学与技术系人工智能研究所 ， 董胤蓬博士的黑盒攻击算法正在成为业界认可的标准算法（谷歌学术中的论文应用次数 ， 超过500次） 。
《亲爱的数据》出品
出品人：谭婧
推荐阅读
- 小龙虾|三农探析：池塘养殖小龙虾如何高产？高产养殖技术全解析
- 显微镜|假如人类可以把显微镜提升到40亿倍，是不是全新的宇宙观？
- 春天，吃鱼吃肉不如吃它，8块钱炒一盘，鲜香营养，好吃还不发胖
- 菜籽饼|菜籽饼被誉为果园之宝，但用错了烧苗烧根，果农如何来使用？
- 水产养殖|生态水产养殖如何提高鱼病的预防工作？大疆渔业这样建议
- 香芋跟南瓜还能如此吃，不做煎饼，软糯营养，好吃不上火，太美味
- 冬天，吃白菜吃菠菜不如它，营养极高，视力好了，肝脏也健康了
- 转基因|转基因背锅？去年已有不少弃种，如今产地低至3毛钱，果农愁销路
- 粉丝如此做真解馋，不蒸不炖不焖，好吃营养，老公一下子吃了一盘
- 早餐不吃馒头，教你如此做花卷，不用时间发面，松软香甜，真好吃