新系统结合了智能手机视频以创建4D可视化
卡内基梅隆大学的研究人员证明 ， 他们可以结合使用分开的摄像机在“野外”拍摄的iPhone视频来创建4-D可视化效果 ， 使观看者可以从各个角度观看动作 ， 甚至可以擦除暂时遮挡视线的人或物体 。
想象一下一个婚礼招待会的可视化 ， 可以从与摄像机一样多的角度看到舞者 ， 而走在新娘聚会前的醉汉无处不在 。
博士AayushBansal表示 ， 可以在婚礼或生日庆典上拍摄视频 ， 而不受各种角度的影响 。 CMU机器人学院的学生 。 他补充说 ， 还可以将演员录制在一个场景中 ， 然后将其插入到另一个场景中 。
文章图片
班萨尔说：“我们仅受摄像机数量的限制 ， 对可以使用多少个视频源没有上限 。
Bansal和他的同事在上个月的“计算机视觉和模式识别”虚拟会议上介绍了他们的4-D可视化方法 。
“虚拟现实”并不是什么新鲜事物 ， 但是在过去 ， 它仅限于工作室设置 ， 例如CMU的PanopticStudio ， 该工作室在其测地线中嵌入了500多个摄像机 。 根本不可能将从多个独立的手持式摄像机拍摄的真实场景的视觉信息融合到一个可以重建动态3D场景的单一综合模型中 。
【新系统结合了智能手机视频以创建4D可视化】班萨尔和他的同事们通过使用卷积神经网络（CNN）解决了这一局限 ， 卷积神经网络是一种深度学习程序 ， 已被证明擅长分析视觉数据 。 他们发现可以使用场景特定的CNN来组成场景的不同部分 。
CMU研究人员使用多达15部iPhone演示了他们的方法 ， 以捕获各种场景 ， 包括在匹兹堡国家鸟舍的舞蹈 ， 武术表演 ， 甚至火烈鸟 。
班萨尔说：“使用iPhone的目的是表明任何人都可以使用该系统 。 ”“世界就是我们的工作室 。 ”
该方法还释放了电影行业和消费类设备中的大量潜在应用程序 ， 尤其是随着虚拟现实头戴式耳机的普及持续增长 。
尽管该方法不一定能捕获完整的3D细节的场景 ， 但系统可以限制播放角度 ， 因此不完整的重建区域不可见 ， 并且3D图像的幻觉也不会破碎 。
推荐阅读
- 澎湃新闻|仝卓事件被写入公职人员学习读本 仝卓事件怎么回事
- 央视新闻|24岁抗洪牺牲消防员赵丹被评烈士 赵丹照片主要事迹
- 一降一升电网销分化明显 疫情催生保险网销新模式
- 健康广东|8月18日广东疫情最新通报：广州深圳新增多少病例
- 陕西卫健委|8月18日陕西疫情最新通报：新增2例境外输入确诊病例
- 央视新闻客户端|甘肃陇南文县泥石流灾害 堰塞湖已打开泄水口
- 吃鸡将迎来寻宝玩法？新地图遍地宝藏，“古老秘密”开启冒险
- the|新冠肺炎成美国第三大致死原因 仅次于心脏病和癌症
- 科学探索|新技术能快速将海水变成饮用水
- 新个体经济为啥这么＂火＂ 分享也是一项＂严肃创业＂