【智东西】Facebook最新ICCV成果:一样的“换脸”不一样的味道

智东西11月12日消息 , Facebook在计算机视觉领域的最新研究成果 , 可以让机器学习模型实现面孔匿名化(anonymize faces)、即时手部动作生成(improvise hand movements)和提供穿搭建议等功能 。

Facebook的“换脸”技术不是完全用不同的面部来“替换” , 而是在原有相貌的基础上微调 , 从而既能实现身份隐匿又可以避免传统粗糙的“物理遮挡”(如面具) 。

面孔匿名化所生成的AI形象看上跟真实的人像有些相似 , 但可能眼睛略宽一些、嘴巴略细一些、额头略高一些 。 下文是外媒Techcrunch对于几项成果报道的原文编译 。

一、与Deepfake“同工”但“异曲”的人性化换脸

Facebook的最新研究成果 , 可以让机器学习模型完成许多看似对人类很简单 , 但是对计算机来说非常困难的任务 。 比如面孔匿名化、即时手部动作生成和提供可靠的时尚穿搭建议(可能是最困难的) 。

Facebook已经在ICCV会上展示并介绍了这些成果 , 此外他们还发表了数十篇其他论文 , 大量专注于AI研究领域 , 尤其是计算机视觉 。

对动态的面部进行修改是这一技术和“Deepfake”等应用程序存在关联的地方 , 但是Facebook的团队认为这项技术实际上是有大量潜在人性化应用场景的 。

Deepfake通过对面部数据和特征进行详细地分析和学习 , 可以将一个人的表情和面部活动直接映射到一张完全不同的面孔上 。 虽然Facebook团队也利用了相同的面部数据和特征 , 但是他们会利用这些数据对面部进行微调 , 达到避免面部识别引擎检测的目的 。

通过这种方式 , 想要既出现在视频中却又不被公众认出的人 , 就不用戴面具或使用完全虚假的外貌 。 取而代之的是 , 他们会看上跟真实的自己有些相似 , 但可能眼睛略宽一些 , 嘴巴略细一些 , 额头略高一些等等 。

【智东西】Facebook最新ICCV成果:一样的“换脸”不一样的味道

----【智东西】Facebook最新ICCV成果:一样的“换脸”不一样的味道 //----[ http://www.caoding.cn]

▲面孔匿名化的过程演示

Facebook创建的这套系统目前可以良好的运行 , 但是离产品化部署还有一定距离 , 需要一些优化调整 。 不过人们可以预见到 , 对于那些可能遭受政治反对者报复或者渴望更多隐私的人们来说 , 这个功能非常实用 。

二、AI在对话中可能会有更自然的肢体动作

在虚拟空间中 , 识别某人可能是相对困难的 , 因为我们缺少那些在现实生活中可以被不断感知到的非语言暗示(如肢体动作) 。 Facebook的另一项研究就是尝试捕获、分类和重现这些动作 , 至少是手部动作 。

有趣的是 , 实际上关于人们说话时到底如何移动手部的数据并不多 。 因此 , 研究人员用专业运动捕捉设备记录了50个小时的普通对话过程 。

【智东西】Facebook最新ICCV成果:一样的“换脸”不一样的味道

----【智东西】Facebook最新ICCV成果:一样的“换脸”不一样的味道 //----[ http://www.caoding.cn]

▲机器学习模型对于手部动作的捕捉和分析

然后 , 机器学习模型会吸收并理解这些(相对)自然的对话以及伴随的身体和手部动作 。 比如当人们说“那时候”时 , 他们会指向身后;当他们说“到处都是”时 , 他们会做出大范围的手势动作 。

这项技术可以做什么?也许是在虚拟环境中进行更自然的对话 , 比如动画师更希望自己角色的动作是基于现实生活和对话生成的 , 而不是他们自己去做出来的 。 事实证明 , Facebook所建立的数据库在规模上足够大、在细节上足够完善 , 这本身就具有很高的实际价值 。

三、Fashion++——一面可以提供穿搭建议的镜子

Facebook的另一项比较独特的研究 , 就是通过机器学习模型为用户提高穿搭质量 。 如果我们拥有一面智能镜子 , 那它首先应该能够给出建议 。

Fashion ++是一个系统 , 通过对大量标记的、已经具备一定整体时尚性的服装搭配(例如帽子 , 围巾 , 裙子)进行学习 , 可以对你给定的服装搭配方案进行分析并给出修改意见 。 有时建议可能非常简单 , 比如只是把衬衫的衣角塞进裤子里 。

【智东西】Facebook最新ICCV成果:一样的“换脸”不一样的味道

----【智东西】Facebook最新ICCV成果:一样的“换脸”不一样的味道 //----[ http://www.caoding.cn]

▲Fashion++提供穿搭建议的示意图

这套系统远没有达到一个时尚助理的水平 , 但是它记录了一些早期为成功人士提出的服装穿搭建议 , 这些建议都是被广泛认可的 。 考虑到在现实中实现好的穿衣搭配是一件多么令人头疼的事 , Fashion++可以达到这个程度已经令人印象深刻 。

结语:计算机视觉向更多人性化应用场景探索

Facebook在ICCV发布的研究无疑表明了他们高度重视计算机视觉的潜在解决问题能力 。 而这些问题都是围绕现实场景展开 , 对人们的实际生活起到重要帮助的 , 可以将科技与人文相交融这个概念很好的进行诠释 。

更快、更准确地检测照片中的人脸、断房间中物体的位置 , 这些都是很好的计算机视觉应用 。 但是生活中可能还有很多令人意想不到的地方 , 是可以通过一点“视觉上的智慧”来改善的 , 这些惊喜等待着研究者们去探索和发掘 。

原文来自:Techcrunch


    推荐阅读