|建造自己的「天空之城」，这项研究可以虚空造物、偷天换日
机器之心报道
机器之心编辑部
【|建造自己的「天空之城」，这项研究可以虚空造物、偷天换日】看过宫崎骏动画电影《天空之城》的小伙伴 ， 想必偶尔会向往那座神秘的空中岛屿拉普达吧 。 近日 ， 密歇根大学安娜堡分校博士后研究员 Zhengxia Zou 进行了一项研究 ， 不仅可以创建空中堡垒 ， 更可以转变场景中的天气和光照 ， 让你有身临其境的感觉 。 此外 ， 这项研究完全基于视觉 ， 能够很好地应用于在线或离线场景 ， 且可以执行实时处理 。
本文插图
哈尔的移动城堡？天空之城？这幅图是否让你想起了这两部电影中的场景……
本文插图
上：《天空之城》剧照；下：《哈尔的移动城堡》剧照 。
是电影场景变为现实了吗？真的有人建造了一座空中楼阁？答案是也不是 。
这座空中城堡的确是人为「构建」的 ， 但并非真实存在 。 它是密歇根大学博士后研究员 Zhengxia Zou 近期一项研究所呈现的效果 。
本文插图
荒野、公路、疾驰的汽车 ， 还有天边的巨型神秘建筑物 ， 有科幻 / 末世电影内味儿了 。 然而 ， 这幅场景竟然是从晴空万里的画面转换而成的 。 公路片变身科幻片？！
别急 ， 还有大招 。 （以下示例左图为原始画面 ， 右图为处理后画面 。 ）
本文插图
右图场景是不是更像《天空之城》了？
本文插图
这场景让人想起一句歌词「打开这深夜 ， 抚摸寒星光 ， 我只想走进圆月亮」 。
除了改变天空（比如增加悬浮城堡、改变色彩和云朵等） ， 这项技术还能变换场景中的天气和光照 。
本文插图
今日天气多云转晴 。
本文插图
雷暴预警！一瞬间天昏地暗 ， 雷电交加 。
看起来 ， 这项技术似乎都可以用到电影业了 。 那它是如何做到的呢？
这项研究提出一种用于视频中天空置换与协调的视觉方法 ， 该方法能够在风格可控的视频中自动生成逼真的天空背景 。 以往的天空编辑方法要么针对静态图片 ， 要么需要在智能手机上集成惯性测量单元（IMU）以便拍摄视频 ， 而这项研究是完全基于视觉的 ， 对视频捕获设备没有任何要求 ， 还能很好地应用于在线或离线场景 。 此外 ， 该方法可以执行实时处理 ， 无需用户交互 。
研究人员将这个艺术加工过程分解成 3 个任务：天空抠图（sky matting）、运动估计和图像融合 ， 并在智能手机和行车记录仪在户外采集到的视频上进行了实验 ， 结果表明该方法在视觉质量以及光照、动态方面均具有高保真度和不错的泛化性 。
论文地址：https://arxiv.org/pdf/2010.11800.pdf
GitHub 地址：https://github.com/jiupinjia/SkyAR
项目主页：https://jiupinjia.github.io/skyar/
Google Colab 地址：https://colab.research.google.com/drive/1-BqXD3EzDY6PHRdwb3cWayk2KictbFaz?usp=sharing
方法
下图概述了该研究提出的方法 ， 它由 3 个模块组成：天空抠图网络、运动估计算法以及 skybox 。
推荐阅读
- 企业,数据|企业为什么一定要有自己的私有化部署即时通讯软件？
- Mac玩儿法|搭载自研 M1 芯片的 Mac 上市在即，看完这篇文章你应该有自己的选择了
- 老哥|仁者见仁智者见智，买手机还是适合自己的最好！
- 海尔智|身背千亿债务的家电“一哥”海尔智家，何时走出自己的中年危机？
- |颠覆智能设备：打造属于你自己的非云端智能家居
- 中关村在线|买显卡吗 来看看适合自己的30系列显卡
- 企业|如何做网站内容策划
- SKR科技|“潘多拉魔盒”难关闭，美搬起石头砸自己的脚，华为却传来好消息
- OPPO手机|OPPO有哪5个系列，如何选择适合自己的一款呢？避免盲目购买
- 玩机空间科技|一分钟制作自己的专属姓氏头像，真的很个性