Facebook面部追踪系统：一套眼球＋语音＋AI轻量化方案
此前我们多次报道FacebookCodecAvatars虚拟化身和面部追踪的研究 ， 该研究中Facebook采用了一系列复杂面部追踪技术 ， 从而在VR中呈现出一个惟妙惟肖的虚拟化身 ， 无论是眼神动作、面部表情 ， 还是肢体动作 ， 都足够自然和逼真 。
不过 ， 最开始版本（2018年开始研究）需要132个相机去进行专业化的捕捉 ， 显然这是一个方案的定型 ， 通过现有技术方案实现一个高的标准 。 当然 ， 这样的一套设备对于落实到最终产品中也会降低用户体验 。
文章图片
去年 ， Facebook就公布了三摄新方案 ， 通过内置两个摄像头和一个鼻梁下方捕捉嘴部的摄像头 ， 看上去已经很完美 。
熟悉Facebook或FRL的朋友可能知道 ， Facebook近两年在人工智能算法上的投入大幅增加 ， 而算法的加入就是为了解决硬件和算力不足等等问题 。
文章图片
文章图片
近期 ， Facebook公布了新一版CodecAvatars的研究 ， 其基于AI技术 ， 用更轻量化的方案去达到类似高标准的效果 。 其中 ， 光学捕捉方面几乎双眼的眼球追踪 ， 而嘴部动作则基于麦克风拾取的人声 ， 也就是双摄＋麦克风＋AI技术 。
【Facebook面部追踪系统：一套眼球＋语音＋AI轻量化方案】眼球追踪用途不用说 ， 它可以准确识别眼球动作从而模拟更真实的眼神和注视效果 ， 而通过麦克风识别你的说话语音来模拟嘴部和面部动作 ， 可能你会质疑它的效果 。
文章图片
上面就是最终效果 。 研究人员表示 ， 通过音频数据可以还原微妙的面部动作 ， 例如舔嘴唇等动作都可以模拟 。 不过值得注意的是 ， 这需要具备高品质的麦克风 。
相关阅读：《一个眼神都不放过 ， FRL公布自然表情系统MCA》
参考：fb
推荐阅读
- 朱拉隆功大学|用狗追踪无症状感染者？准确率95％，朱拉隆功大学解锁新成就！
- 单细胞转录组|Nature子刊｜新型单细胞转录组测序方法可实现肿瘤克隆鉴定及追踪
- 面部识别技术|无处不在的面部识别技术，究竟“恐怖”在哪里？
- 太阳|美国宇航局科学家追踪太阳高能粒子的来源
- detectron2|可以在手机里运行的Detectron2来了：Facebook官方出品
- 梅杰综合征|面部表情不受控制？每天都上演“社会性死亡”……
- 游隼|卫星追踪历时六年 中国科学家领衔揭开游隼迁徙秘密
- 副作用|焦点：超6万名已注射新冠疫苗的副作用追踪
- 想养生要会吃3种美食，补水润肤，减少皱纹，使面部皮肤细腻
- 孙雨|何猷君前女友又整容？面部浮肿和胞姐不像，28岁状态难敌奚梦瑶