AI人工智能|74KB图片也高清,谷歌用神经网络打造图像压缩新算法

萧箫 发自 凹非寺 量子位 报道 | 公众号 QbitAI
还在为图像加载犯愁吗?
最新的好消息是 , 谷歌团队采用了一种GANs与基于神经网络的压缩算法相结合的图像压缩方式HiFiC , 在码率高度压缩的情况下 , 仍能对图像高保真还原 。
GAN(Generative Adversarial Networks , 生成式对抗网络)顾名思义 , 系统让两个神经网络相互「磨炼」 , 一个神经网络负责生成接近真实的数据 , 另一个神经网络负责区分真实数据与生成的数据 。
简单来说 , 就是一个神经网络「造假」 , 另一个神经网络「打假」 , 而当系统达到平衡时 , 生成的数据看起来便会非常接近真实数据 , 达到「以假乱真」的效果 。
下面是这种算法展现出来的图像与JPG格式图像的对比 。
可见 , 在图像大小接近的情况下(HiFiC大小74kB , JPG图像大小78kB) , 算法所展现出来的图像压缩效果要好得多 。
AI人工智能|74KB图片也高清,谷歌用神经网络打造图像压缩新算法
文章图片

文章图片

而在与原图进行对比时 , HiFiC所展现出来的还原效果仍然非常优秀 。(真的不是在原图中间画了条线吗?)
AI人工智能|74KB图片也高清,谷歌用神经网络打造图像压缩新算法
文章图片

文章图片

目前处于特殊时期 , 大量国外网友仍在家中隔离 , Netflix和油管的播放量暴增 , 一些视频网站甚至不得不被迫降低视频在线播放的清晰度 , 以适应激增的数据量 。
但看惯了高清视频的网友们 , 面对突如其来的「模糊打击」自然怨声载道 。
用一位网友的话来说 , 如果视频行业也能被应用类似的技术 , 相信Netflix和油管会特别高兴 , 毕竟这种高清低码率的图像复原实在太诱惑 。
AI人工智能|74KB图片也高清,谷歌用神经网络打造图像压缩新算法
文章图片

文章图片

哇 , 如果他们可以对视频做同样的事情的话 , 我相信Netflix和YouTube会很高兴的 。
事实上 , 在了解HiFiC算法的原理后 , 会发现它的确不难实现 。接近原图的图像重构算法
此前 , 相关研究已有采用神经网络进行图像压缩的算法 , 而随着近年来生成式对抗网络兴起 , 采用GANs生成以假乱真图像的算法也不在少数 。
如果能有办法将二者结合 , 图像压缩的效果是不是会更好、更接近于人类的感知?
这次图像压缩的模型便是基于二者的特性设计 , 在基于神经网络的压缩图像算法基础上 , 采用GANs进一步让生成的图片更接近于人类视觉 , 在图像大小和视觉感知间达到一个平衡 。
AI人工智能|74KB图片也高清,谷歌用神经网络打造图像压缩新算法
文章图片

文章图片

可以看见 , HiFiC的架构被分成了4个主要部分 , 其中E为编码器 , G为生成器 , D为判别器 , 而P则是E的输出E(x)的概率模型(这里用y表示) , 也就是P用于模拟y的概率分布 。
GANs运作的核心思想在于 , 需要让架构中的生成器G通过某种方法 , 「欺骗」判别器D判定样本为真 。
【AI人工智能|74KB图片也高清,谷歌用神经网络打造图像压缩新算法】而概率模型P , 则是达成这步操作的条件 。
然后 , 将E、G、P参数化为卷积神经网络 , 这样就可以通过率失真优化的条件 , 对这些网络进行共同训练 。
同时 , 研究者也对已有的几种GANs算法架构进行了微调 , 使其更适于HiFiC架构 。
研究发现 , 将GANs与深度学习相结合的HiFiC算法取得了意想不到的效果 。模型评估


推荐阅读