新智元|两图生万物！这个超强图像转换神器，小样本一秒猫狗合体变新物种
本文插图
新智元原创
编辑：元子
【新智元导读】将毫不相干的两个动物P在一起 ， 会诞生什么样的神奇物种？今日 ， 波士顿大学和英伟达合作推出一个小样本图像到图像转换的框架 ， 可以将任意两张动物图片合成一个全新物种 ， 同时保持两张原图的典型特征 。 论文已被ECCV接收 。
小样本 ， 大成就！
动物界 ， 不同物种之间的杂交产生出了很多新的物种 。 比如说马和驴杂交出现了骡子；狼和狗杂交出现了狼狗；狮和虎杂交出现了狮虎兽和虎狮兽；豹子和狮子杂交出现了豹狮兽等等 。
本文插图
你是不是也跟我一样 。 十分好奇将毫不相干的两个动物P在一起 ， 会诞生什么样的神奇物种？
最近波士顿大学和英伟达合作 ， 推出了一个小样本无监督图像翻译编码器：COCO-FUNIT 。
只要给COCO-FUNIT任意两张图片 ， 就可以生成一个毫无违和感的合成图片 ， 保留了两个原图各自最典型的特征 ， 但是一个全新的物种 。 该论文也被ECCV 2020接受 ， 论文地址：
https://arxiv.org/pdf/2007.07431.pdf
先上两个视频感受一下 。
第一个视频是官方的介绍 ， 第二个视频是第三方做的实例 。
本文插图
该项目是基于此前英伟达、康纳尔大学和阿尔托大学联合发表了一篇文章——小样本(few-shot)非监督图像到图像转换 。 论文地址：
https://arxiv.org/pdf/1905.01723.pdf
简单来说 ， 就是输入一只金毛 ， 在训练过程当中 ， 即便第一次看到一种新动物 ， 也能让它像金毛那样吐舌头、闭嘴巴、歪头 。
本文插图
若是输入一张炒面的图 ， 该模型也可以让其它食物变成炒面 。
本文插图
【新智元|两图生万物！这个超强图像转换神器，小样本一秒猫狗合体变新物种】这项工作还提供了在线测试：
https://nvlabs.github.io/FUNIT/petswap.html
FUNIT：2阶段图像转换 ， 非常有趣！
我们提出的FUNIT框架旨在通过利用在测试时可用的几个目标类图像 ， 将源类的图像映射到目标类的类似图像 。
为了训练FUNIT ， 我们使用来自一组对象类(例如各种动物物种的图像)中的图像 ， 称为源类(source classes) 。 我们不假设任何两个类之间存在配对的图像(即 ， 不同物种的任何两个动物都不会是完全相同的姿势) 。
我们使用源类里的图像来训练一个multi-class无监督图像到图像转换模型 。
在测试过程中 ， 我们从一个称为目标类(target class)的新对象类中提供少量几张图像 。 模型必须利用少量的目标图像来将源类里的任何图像转换为目标类里的类似图像 。
本文插图
图1
训练 。 训练集由各种对象类(源类)的图像组成 。 我们训练了一个模型在这些源对象类之间转换图像 。
部署 。 我们向训练模型显示极少量目标类里的图像 ， 这就足以将源类的图像转换为目标类的类似图像了 ， 即使模型在训练期间从未见过目标类的任何图像 。
需要注意的是 ， FUNIT生成器有两个输入：1)一个内容图像；2)一组目标类图像 。 它的目的是生成与目标类图像相似的输入图像的转换 。
推荐阅读
- 新智元|英国5G建设病急乱投医，这两家日本企业或成华为接盘侠
- 新智元|TikTok被爆与谷歌云签署8亿美元合同，白宫：卖给美国公司也不行
- 新智元|MIT发出“算力”警告：深度学习正在逼近计算极限
- 科技小数据|万物皆可充的OPPO 50W超闪饼干充电器如何做到闪电瘦身？
- 新智元|史无前例被黑，推特有内鬼！
- 5G手机,OPPO手机|划时代闪充技术诞生 “万物无线快充”还会远么？
- |QC、PD统统支持！OPPO打造万物皆可快充的时代
- 新智元|6G来了！三星发布6G白皮书，2028年商用！峰值速率是5G的50倍
- 人工智能|万物互联，联发科AIoT芯片推动AI边缘计算
- 电池技术|助力万物智联，瑞萨电子有何妙招？