DeepTech深科技|把人骑马变成人牵着马，这篇 CVPR2020 论文实现语义级别图像修改( 二 )
本文插图
图丨 CLVER 实验结果示例 。 (a)修改物体的空间关系 （b）物体移除 （c）物体属性修改 (d)物体增添（来源：Semantic Image Manipulation Using Scene Graphs）
CLVER 模拟器可以生成不同颜色的几何形体 ， 并任意操纵它们的位置 。 作者利用该模拟器生成如图三所示的图片 ， 并对这些图片进行修改 ， 得到修改后的图片 ， 最终得到 21 ， 310 对图片 。 在该数据集上 ， 作者将提出的无监督模型（训练时仅使用原图片）与有监督方法 sg2im（训练时使用原图片和修改后的图片）进行对比 ， 结果如图 4 所示 。 可以看到 ， 无监督方法在包含全部像素点的 4 个测评指标中 ， 有一明显超过有监督方法 ， 一个与之不相上下 。 而在针对相关区域的测评中 ， 两个指标均胜过有监督方法 。
本文插图
图丨本文提出的无监督模型与有监督方法在 CLVER 数据集上的对比结果 。 MAE：平均绝对误差；SSIM：结构相似性；LPIPS：感知误差 ， FID：生成图片与原图的距离 。 （来源：Semantic Image Manipulation Using Scene Graphs）
本文插图
图丨利用无监督模型对真实图片进行修改 。 a）对象替换 。 b）物体关系修改 。 c）对象移除（来源：Semantic Image Manipulation Using Scene Graphs）
最后 ， 作者在 Visual Genome 数据集上进行试验 ， 以测评模型在真实场景中的效果 。 由于无法得到每张真实场景修改后的图片 ， 作者通过图片重构的方式进行评估 。 上图展示了该模型在真实场景图片中的应用 。 可以看到 ， 这种方法可以帮助用户对图片进行语义层面的操纵修改 。
从这篇论文谈开 ， 我们已经看到 ， 随着 CV 技术的发展 ， 对图片的操纵 ， 换脸、合成、修改正变得越来越容易 ， 合成的图片也越来越逼真 。 在这些技术为人们带来新奇体验的同时 ， 如何警惕其不被滥用会是一个重要的议题 。
-End-
责编：黄珊
参考：
【DeepTech深科技|把人骑马变成人牵着马，这篇 CVPR2020 论文实现语义级别图像修改】https://arxiv.org/pdf/2004.03677.pdf
推荐阅读
- 2020|影谱科技入选“2020中国AI商业落地价值潜力100强榜单”
- 行业互联网|眼控科技聚焦航空气象报文，人工智能助推编发自动化
- 行业互联网|金风科技中标哈萨克斯坦札纳塔斯二期100MW风电项目
- 无人科技,电池技术|盘点几种常见的无人机电池
- 行业互联网,智慧医疗|商汤科技创“心”升级，探索“联邦学习”入选ECCV
- 行业互联网|创盈Charmwin惊艳亮相2020上海美博会，打造“光”科技健康护肤新风尚
- 科技圈|集成灶两大品牌厨壹堂教你解锁三伏天厨房的正确打开方式
- 黑科技|花两万块钱买一台大法电视是一种怎么样的体验？
- 北京|北京嘀嘀无限科技发展有限公司因涉嫌非法聘用外国人被行政处罚
- 和讯科技|乐视退最后交易日报0.18元/股 明日将被正式摘牌