节省时间,告别眼花,一键挑出高质量图片，科大&微软推出挑图神器
做生成模型的同学们 ， 你们是不是或多或少都遇到过这个问题：用一个生成网络生成了一批图 ， 但选几张最好的做demo可能得花费一番功夫 。 现在这个问题不用担心了 ， 中科大和微软研究院的学者提出了生成图像质量评估算法（GIQA） ， 它可以自动对生成图片的质量打分 ， 挑出高质量的图片 。 目前该文章已被ECCV2020会议收录 。
文章图片
论文地址：https://arxiv.org/pdf/2003.08932.pdf
代码：https://github.com/cientgu/GIQA
近些年来 ， 深度生成模型取得了巨大的进展 ， 诞生了很多有趣的应用 ， 然而 ， 并非所有生成的结果都很完美 。
如下图所示 ， 图中四个角上的图片均为StyleGAN在一个猫数据集上的生成结果 。 在这些图片中 ， 既有很多高质量的猫图片（右下） ， 也有很多图质量很差（完全看不出来是猫 ， 左下） 。
文章图片
以往大家为了评估哪张图生成的好 ， 往往都是要靠人来判断 ， 这需要花费大量人力成本 。 在实际应用中 ， 由于对生成图片的最差质量缺少把控 ， 很多产品遭受到了各种质疑 。
基于此 ， 来自中科大和微软研究院的学者提出了生成图像质量评估（GeneratedImageQualityAssessment,GIQA）这一研究方向 ， 并希望实现评价算法以自动地对生成图片的质量进行打分 。
具体来说 ， 为了实现这个目的 ， 研究者提出了基于学习和基于数据的两种方法 ， 通过这些方法 ， 我们能够实现对生成图片的质量进行打分 ， 同时实现很多有趣的应用 。
上图即展示了研究者对一个模型的生成图片进行打分的分布结果 ， 在右下、右上、左上、左下中他们分别展示了模型评价的从高质量到低质量的生成图片 ， 可以观察到该算法评价的质量基本上和人的评价是一致的 。
两种不同类型的GIQA方法
下面研究者将介绍他们如何实现用算法进行生成图片质量评价的 。
基于学习的GIQA
研究者发现 ， 在训练GAN的时候 ， 生成图片的质量会随着迭代次数的增加越来越好 。 一个简单的想法是用迭代次数当质量的”伪标签” ， 通过监督式的学习 ， 生成一个打分器 ， 对生成图片的质量进行打分 。
【节省时间,告别眼花,一键挑出高质量图片，科大&微软推出挑图神器】然而 ， 用迭代次数当质量并不精确 ， 他们通过多个二分类器（Multiplebinaryclassifiers）回归标签来平滑去噪 ， 通过平均这些分类器的分数 ， 可以极大的增强鲁棒性和泛化能力 。 研究者称之为MBC-GIQA 。
文章图片
数据驱动GIQA
研究者重新思考质量评估这个问题 ， 发现“质量”很难定义好 。 生成模型希望能生成服从已有的真实数据分布（realdistribution）的图片 。
因此 ， 他们认为”质量”表征的是一张生成图片和真实数据分布的接近程度 。 通俗地说 ， 就是一张生成图片有多大可能性来自于真实分布 。 这个概率越大 ， 表示质量越高 。
此外 ， 另一个直观的想法是对真实分布直接建模 。 研究者根据建模是参数化模型还是非参数化模型分成两部分 。
参数化模型：GMM-GIQA
研究者将用高斯混合模型（GMM）来拟合真实数据分布在特征层面的特征 。
对于一张待测的图片I ， 他们先提取特征x ， 这个特征x在真实数据分布中出现的概率就表示了该图的质量 。
文章图片
文章图片
非参数化模型：KNN-GIQA
此外 ， 研究者还可以用K近邻（KNN）来对真实数据分布在特征层面建模 。 对于待测图片I及其提取的特征x ， 若它与真实图片距离越近 ， 表示其出现的概率高 ， 也就表示其质量高 。
文章图片
文章图片
GIQA评估效果怎么样
在研究者收集的LGIQA质量评估数据集上 ， GMM-GIQA能够取得最好的结果 ， 远远超过传统的图像质量评估方法 。 同时也最推荐大家使用GMM-GIQA的方法 。 与其他方法的对比结果如下表1所示：
文章图片
下图3显示该方法筛选出的图片相比传统的方法更符合人类的认知 。
文章图片
GIQA方法衍生出的应用
该方法还有很多衍生应用 ， 其中一个是模型质量评估 。 对于生成模型 ， 我们可以独立地衡量生成图片的质量和多样性 。 一批生成图片质量的平均值可以用来衡量模型的生成图片质量 ， 研究者称之为QualityScore(QS) 。
文章图片
相似的 ， 研究者用一批真实图片在生成图片中的质量衡量的平均值当成模型多样性的衡量DiversityScore(DS) 。
文章图片
研究者用这些方法在unconditionalGAN和conditionalGAN上又验证了其有效性 。
第二个有趣的应用是通过后处理丢弃一部分图片 ， 让剩余图片有更好的生成质量 ， 他们验证了其比传统的truncationtrick能更好地兼顾质量和多样性 ， 如下表4所示：
文章图片
第三个应用是结合OHEM（OnlineHardExampleMining） ， 在GAN训练过程中 ， 通过给低质量生成图片更高的惩罚权重 ， 他们可以让GAN生成出更高质量的图片 ， 如下表5所示：
文章图片
在研究者看来 ， GIQA是一个新颖且对研究和产业都很有意义的一个研究方向 。 相信通过本文的抛砖引玉 ， 能有更多的人研究GIQA这个领域并对其他任务提供更多的参考价值 。
推荐阅读
![[蓝汐]盘点十款敏感肌的人气护肤品，修复敏感肌最好用的护肤品排行榜](https://imgcdn.toutiaoyule.com/20200427/20200427073122862126a_t.jpeg)
- 8月告别霉运，迎来开门红，横财频发，福泽三代的四生肖
- 抗洪英雄|抗洪烈士唯一一条朋友圈是儿子出生照，妻子含泪敬军礼向他告别
- 亿欧网|主动告别安卓，华为或很快推出搭载鸿蒙系统的手机
- 歼16告别铁炸弹？大量航弹改装为卫星制导，北斗接收机成本仅百元
- 自然资源|告别“九龙治水”，北京将实现山水林田湖草统一监管
- 国民党团总召喊告别“韩流”惨遭出征：选输怪韩粉？嫌选票太多
- 车吧聊车|受排放法规影响 奥迪A8柴油版V8发动机即将告别
- 相声|他是范伟相声门的师父，近日刚刚离世，范伟将亲自参加告别仪式
- 告别拍照剪刀手，这些个经典拍照姿势，手残党也能轻松拍美照
- 郎朗|婚后1年，郎朗忍痛告别吉娜：这场婚姻，彻底带偏了他…