机器之心屏下摄像头效果不好？微软：上神经网络，还原更真实的可视会议效果( 二 )
本文插图
在计算机视觉这个热门方向里 ， U-Net 是比较有名的方法 。 通过深度学习算法 ， 我们获得了与原始图像几乎一致的重建图像：
直接拍摄：
本文插图
屏下摄像头处理前：
本文插图
深度学习算法处理后：
本文插图
通过将相机固定在显示器中 ， 并保持良好的图像质量 ， 我们为长期存在的视角问题找到了有效的解决方案 。
对话的位置安排
在对话过程中 ， 空间因素也非常重要 ， 但在目前的视频会议系统中往往是被忽略 。 参与者们彼此相对的距离是非语言交流中非常重要的方面 。
微软认为 ， 通过调整人物图像在显示其中的大小 ， 我们可以很大程度上模拟出说话人位置在虚拟环境中的效果 。
图像分割
要想这样做 ， 首先要找到人 ， 微软设计了卷积神经网络（CNN）结构来在图像中定位说话的人 。
本文插图
用于分割说话者和背景的神经网络结构 。
首先 ， 需要做语义分割以识别并定位图像中的人类 。
本文插图
接下来 ， 我们进行深度分割以找到最接近的人类 ， 指认他 / 她为说话者 。 这种相对简单的技术在单个发言人时工作效果很好 ， 如果存在多个发言人 ， 则需要应用更为复杂的方法 。
校正距离
在远程视图中确定了说话者之后 ， 我们就可以缩放传入的视频 ， 以便将远程会议参与者以更为合适的尺寸显示在本地屏幕上 。
本文插图
一种实现的方法是缩放整个画面 ， 再把人物定位于正中 。 但在微软的项目中 ， 研究人员尝试了效果更明显的方法：让人物独立于背景进行调整 。
将人物与背景分割调整可以带来一些好处 ， 比如隔离掉不希望显示的背景画面 ， 用背景区域直接显示 PPT 或视频等 。
经过取景效果的提升以及人物位置的缩放 ， 我们最终获得的远程会议效果距离真实情况前进了一大步 。
推荐阅读
- 小i机器人|小i机器人对苹果提起侵权诉讼索赔人民币100亿元
- 天气早知道|操纵“魔杖”、和AI机器人互动……科技课原来可以这么好玩
- 黄子韬和机器人吵起来了|【铁憨憨的日常】黄子韬和机器人吵起来了 幼稚鬼韬三岁无疑了
- 小i机器人对苹果提起诉讼并索赔100亿人民币
- 黄子韬和机器人吵起来了|黄子韬和机器人吵起来了什么情况?终于真相了,原来是这样!
- |腾讯搜索之心不死欲拿下搜狗 搜索市场将再起波澜
- 机器|比亚迪宋MAX怎么样，值得购买吗？都说比亚迪燃油版不怎么样？
- 腾讯|腾讯搜索之心不死欲拿下搜狗 搜索市场将再起波澜
- 澎湃新闻|神经拟态芯片可让机器人拥有触感，感知比人类快1000倍
- 心若磐石|3D建模提升机器人空间感知能力