科技俱乐部菌 图像也能做情感迁移？罗切斯特大学团队提出计算机视觉新任务( 二 )
文章图片
为解决以上缺陷 ， 该研究提出了一种新方法Sentiment-awareGAN(SentiGAN) 。 对于第一种缺陷 ， 该研究创建了对应的物体级损失函数 ， 与图像级损失一起训练模型 。 对于第二种缺陷 ， 其解决方案基于以下观察：额外迁移内容码全局信息可以更好地迁移输入物体的颜色信息 。 同时 ， 研究人员还通过维护空间信息来阻止其他内容信息（如纹理）的改变 。 为此 ， 他们使用有效的约束 ， 使迁移物体的内容码与参考物体的内容码全局接近 ， 但与输入物体的内容码局部接近 。 这些约束通过训练过程中的内容分离损失和推断过程中的内容对齐步骤来实现 。 该研究表明这两种方法具备互补性 ， 能够显著提高情感迁移的性能 。
该研究提出的图像风格迁移框架如下图3所示：
文章图片
框架原理如下：
给定输入图像 ， 首先执行物体掩码提取来提取物体和对应的掩码；然后使用图像描述生成和图像语义分割来获取所有物体和高质量掩码；最后 ， 使用SentiGAN逐个物体地执行情感迁移 。
核心组件SentiGAN的架构如下图所示：
文章图片
实验
研究人员创建了三个任务来评估图像情感迁移模型的性能 。 这三个任务均基于50张选自测试集的输入图像 ， 这些图像具备精确的物体掩码和相对中性或模糊的情感信息（方便向积极或消极情感方向迁移） 。
任务1：粗粒度情感迁移
第一个任务旨在衡量模型在执行图像粗粒度情感迁移时的性能 。 研究人员训练一个图像情感二分类模型来用于预测提取测试集中的典型积极图像和典型消极图像 。 对于每一张输入图像 ， 不同的情感迁移模型可从十组采样的积极参考图像和十组采样的消极参考图像中 ， 对输入图像进行情感迁移 。 图像情感分类模型对于各个情感迁移模型得到的迁移图形评估结果参见下表1：
文章图片
从表1中可以看出 ， SentiGAN获得了最高的平均真正率和真负率 。 这表明 ， SentiGAN可以有效执行图像粗粒度情感迁移 。
此外 ， 研究人员还请五位志愿者从SentiGAN输出的500张迁移图像对（积极图像和消极图像）中选择积极图像 。 如表2所示 ， 选择正确的概率为72.4% ， 这表明情感迁移效果可以被用户观察到 。 图5展示了SentiGAN输出的情感迁移示例 。
文章图片
任务2：验证物体级情感迁移的效果
第二个任务是验证物体级情感迁移的效果 。
研究人员令SentiGAN执行三种迁移策略——物体级迁移、全局迁移、非对应物体的物体级迁移 ， 并生成50组迁移图像 。 令五位志愿者在每组中选择最真实的图像 ， 每人负责50组 。 如表3所示 ， 对于大多数组 ， 志愿者认为目标级情感迁移生成的图像最真实 ， 这与图7示例表现一致 。
文章图片
文章图片
任务3：迁移图像与参考图像间的情感一致性
第三个任务是评估迁移图像和参考图像之间的情感一致性（sentimentconsistency） 。 研究者对每个输入图像收集了不同模型预测的迁移图像 ， 并请五位志愿者从中选择出一或多个与参考图像最具情感一致性的迁移图像 。
如下表4所示 ， SentiGAN获得了最高的选中率 ， 而且大幅领先 ， 这表明它在迁移参考图像的情感中实现了最优性能 。 示例参见图6 。
文章图片
推荐阅读
- 科技|2022年七大前沿科技：每一项都能改变世界
- realme|定位新一代“科技国潮”！realme V25官宣将搭载神秘新科技
- 国产|打造出国产7nm GPU！壁仞科技迎一员大将：原NVDIA高管杨超源入职
- 太阳|有史以来在单张图像中观测到的最大日珥喷发：没有指向地球！
- 科技前沿|首次100％满功率！我国第二台华龙一号核电站又近一步
- 俞敏洪|俞敏洪进军科技界！新东方成立科技公司：经营范围含集成电路、5G
- 智能手机|科技圈的脱口秀大王？盘点卢伟冰那些年说过的金句
- 冬奥会|北京冬奥会火炬接力点位确定！火炬设计师曾任锤子科技高管
- 科技|可穿透物体内部成像 我国成功研制国际首台高分中子照相机
- 罗永浩|50亿！交个朋友2021年抖音直播带货第一：罗永浩称年后回归科技界