技术编程抠图只精细到头发丝还不够,Adobe新方法能处理6000×6000的高分辨率图像( 二 )


下图 2 展示了 HDMatt 方法的整体框架:
技术编程抠图只精细到头发丝还不够,Adobe新方法能处理6000×6000的高分辨率图像
本文插图
下图 3 展示了 CPC 模块的工作流程:
技术编程抠图只精细到头发丝还不够,Adobe新方法能处理6000×6000的高分辨率图像
本文插图
实验
Adobe Image Matting 基准数据集
下表 1 展示了 HDMatt 方法与其他 SOTA 方法在 Adobe Image Matting 测试集上的性能对比结果 。 HDMatt 方法在所有评估度量指标上均优于其他方法 。
技术编程抠图只精细到头发丝还不够,Adobe新方法能处理6000×6000的高分辨率图像
本文插图
研究人员还对这些方法(包括 IndexNet 和 ContextNet)的实际效果进行了对比 , 如下图 4 所示:
技术编程抠图只精细到头发丝还不够,Adobe新方法能处理6000×6000的高分辨率图像
本文插图
从中可以看出 , HDMatt 方法能够更好地处理大型未知区域(即极少前景或背景信息的区域) 。
AlphaMatting 基准数据集
表 2 列出了在 AlphaMatting 基准数据集上 SAD 指标表现最优的四个方法 , HDMatt 方法在具备较大或用户 trimap 的图像上表现优异 。 这进一步证实了 , 当 trimap 中存在大量未知区域时 , HDMatt 方法可以有效捕获长程语境依赖性 。
技术编程抠图只精细到头发丝还不够,Adobe新方法能处理6000×6000的高分辨率图像
本文插图
下图展示了不同方法在 AlphaMatting 测试集上的抠图结果 , 自左向右分别是输入图像、Trimap、AdaMatting [1]、SampleNet [35]、GCA Matting [24] 和 HDMatt 。 从图中可以看出 , 最右一列 HDMatt 方法的抠图效果最精细 。
技术编程抠图只精细到头发丝还不够,Adobe新方法能处理6000×6000的高分辨率图像
本文插图
真实图像
除了这些数据集以外 , 研究人员还在网上收集了一些分辨率最高可达 6000 × 6000 的高分辨率图像 , 并在这些真实图像上进行测试 。
下图 5 展示了将整张图像作为输入时 , IndexNet、ContextNet 和 HDMatt 方法的性能 。 从结果中可以看到 , HDMatt 方法能够提取更精细精确的细节 , 同时推断速度也更快 。 不过 , 该方法仍丢失了一些最精微的细节 。
技术编程抠图只精细到头发丝还不够,Adobe新方法能处理6000×6000的高分辨率图像
本文插图
技术编程抠图只精细到头发丝还不够,Adobe新方法能处理6000×6000的高分辨率图像
本文插图
基于 Context Patch 的注意力可视化
下图 7 展示了在给定 query patch 上基于选定 context patch 的注意力图:
技术编程抠图只精细到头发丝还不够,Adobe新方法能处理6000×6000的高分辨率图像
本文插图
控制变量研究
下表展示了控制变量研究的结果:
技术编程抠图只精细到头发丝还不够,Adobe新方法能处理6000×6000的高分辨率图像
本文插图
如何快速构建图片搜索引擎?
亚马逊AWS解决方案架构师邱越俊将于9月24日带来一场live coding , 利用Amazon Elasticsearch Service , 从零开始构建一个以图搜图的应用程序 , 包括用Amazon SageMaker对图片做特征向量提取 , 用Amazon Elasticsearch做特征向量搜索 , 用AWS Amplify快速搭建应用程序 。
【技术编程抠图只精细到头发丝还不够,Adobe新方法能处理6000×6000的高分辨率图像】转载请联系本公众号获得授权


推荐阅读