「太平洋电脑网」Nvidia研究人员:提出用2D图像自动生成3D对象的渲染框架

【「太平洋电脑网」Nvidia研究人员:提出用2D图像自动生成3D对象的渲染框架】外媒报道称 , 计算机很擅长计算 3D 模型 , 并将之放在 2D 屏幕上作展示 。 但若要将 2D 图像逆推成 3D 模型 , 计算机就有些力不从心了 。好消息是 , 在机器学习技术的加持下 , 英伟达研究人员已经提出了一种类似的渲染框架 。 其通过 AI 来获取 2D 信息 , 并将之准确地转换为 3D 对象 —— 这套系统被称作 DIB-R。
DIB-R 的全称是“基于可微分插值计算的渲染器” , 底层由 PyTorch 机器学习框架构建 。 在本周于温哥华举办的年度神经信息处理系统会议上 , 英伟达研究团队介绍了他们的最新进展 。 该框架的工作原理 , 几乎是与 GPU 的日常工作反过来干 。 它需要分析 2D 图像 , 然后形成一个高保真的 3D 对象 , 包括形状、纹理、颜色和照明 。
编解码器的体系结构 , 会从多变球形开始 , 并使用 2D 图像中给定的信息 , 对其进行变形处理 。 值得一提的是 , 该流程仅需 1 / 10 秒 。 若使用单个英伟达 V100 GPU 进行训练 , 需要对神经网络展开为期 2 天的训练 。 若使用其它 GPU 进行训练 , 更需要耗费数周的时间 。 研究人员认为 , 该系统可用于自主式机器人的深度感知应用 , 从而增强其在现实环境中工作时的安全性和准确性 。 通过这样的三维化处理 , 机器人能够更好地导航、以及操纵其需要处理的对象 。
据悉 , 英伟达已将 DIB-R 添加到其 3D 深度学习的 PyTorch GitHub 库中(Kaolin) , 以帮助研究人员加速 3D 深度学习实验 。


    推荐阅读