软件架构|Facebook研制神经超采样技术 用以抗衡DLSS
SIGGRAPH 2020大会即将召开 ， Facebook研究人员今天发表了一篇文章 ， 介绍了“神经超采样”（neural supersampling）技术 ， 这是一种根据人工智能机器学习为基础的提高图像清晰度的算法技术 ， 跟NVIDIA的DLSS“深度学习超采样”技术差不太多 。 不过 ， 这个神经超采样并不需要专门的硬件或者软件就能实现 ， 而且结果还不错 ， 基本可以媲美DLSS的效果 。
“和我们的研究比较接近的 ， Nvidia最近发布了深度学习超采样（DLSS） ， 可以将低分辨率图片通过神经网络进行实时处理 ， 放大采样 。
在本文中 ， 我们将介绍一种新方法 ， 让现代游戏引擎容易整合 ， 不需要特殊硬件或软件 ， 可应用于许多现有的软件平台、加速硬件和显示器 。
【软件架构|Facebook研制神经超采样技术 用以抗衡DLSS】我们观察到 ， 对于神经超采样来说 ， 由运动向量提供的额外的辅助信息起到了关键作用 。 运动向量决定了连续帧内像素之间的几何学对应 。 换句话说 ， 每个运动向量都指向了亚像素地点 ， 在这些像素上 ， 一个可见表面点可能会出现在上一帧的邻近位置 。 这些值通常由计算机视觉方法进行估算 ， 但这样的光学流动模拟算法容易出错 。 对比之下 ， 渲染引擎可以直接制作密集的运动向量 ， 从而得到可靠的、丰富的输入信息 ， 提供给神经超采样 ， 应用于渲染画面内容 。
我们的方法就是基于以上观察 ， 结合了额外的辅助信息 ， 使用创新的时空神经网络设计 ， 将图片和视频品质最大化 ， 同时提供实时运算性能 。 ”
在文章中 ， Facebook提到了神经超采样技术可能会应用于AR和VR程序 ， 为他们的Oculus平台提供便利 。 不过如果效果好的话 ， 应用于其他3D游戏应该也是可行的 。 当然 ， 新技术需要靠实践去检验 ， 我们很期待看到这个神经超采样的实际表现 。
推荐阅读
- Java|软件开发平台之争：NET VS Java，谁是更好的选择？
- 软件|这个世界还需要码农吗？
- 南方光原与东华软件达成战略合作 共营城市治理新生态
- 微信|当微信让你越来越累的时候，说明社交软件需要一场变革
- |360周鸿祎：手机软件用摄像头麦克风偷听，变成你肚子里的蛔虫！
- |又一备胎转正！国产系统麒麟V10发布，直接吞了300万安卓软件
- 周鸿祎|周鸿祎称有的软件偷偷打开摄像头 消费者应有知情权和选择权
- 经济犯罪|“先花一亿元”？从这个软件平台借款的人，公安局催你还钱啦！
- 偷听|周鸿祎称有的软件会偷偷打开摄像头或麦克风，网友：聊完天就会被推荐
- 周鸿祎称有的软件偷偷打开摄像头|周鸿祎称有的软件偷偷打开摄像头，或者麦克风录音