科技俱乐部菌 这个研究专门给动物抠图,毛发分明,人像抠图满足不了研究者了( 二 )
AM-2k数据集包含20个类别的2000张高分辨率自然动物图像 , 并且具备手动标注的前景蒙版 。 研究者将该数据集分割为训练集和验证集 , 并设置了两个评估track:ORI-Track(OriginalImagesBasedTrack)和COMP-Track(CompositeImagesBasedTrack) 。
下表展示了AM-2k数据集与现有抠图数据集的对比情况:

文章图片
该数据集中的示例参见下图:

文章图片
实验
定量和主观评估
下表2展示了多种SOTA方法在AM-2kORI-Track上的结果:

文章图片
与SOTA方法相比 , GFM在所有评估指标上均超过它们 , 通过同时分割前景和背景图像以及在过渡区域抠图 , 取得了最优性能 。
下图6展示了不同方法在AM-2kORI-Track上的定性对比结果:

文章图片
【科技俱乐部菌 这个研究专门给动物抠图,毛发分明,人像抠图满足不了研究者了】从图中可以看出 , SHM、LF和SSS无法分割一些前景部分 , 因为其分段式结构导致模型无法显式地分辨前景/背景和过渡区域 。 语义分割和抠图细节是很难平衡的 , 分别需要全局语义特征和局部结构特征 。 HAtt和SHMC无法获得过渡区域的清晰细节 , 因为全局指引有助于识别语义区域 , 但对细节抠图的用户就没那么大了 。
相比而言 , GFM获得了最优结果 , 这得益于其统一模型 , 使用单独的解码器处理前景/背景和过渡区域 , 并以协作的方式进行优化 。
模型集成和混合分辨率测试
如下表3所示 , 模型集成的结果优于单个模型:

文章图片
控制变量研究
控制变量研究结果如下表4所示:

文章图片
模型复杂度分析
如下表5所示 , 使用DenseNet-121或ResNet34作为主干网络的GFM在运行速度上超过SHM、LF、Hatt和SHMC , 它们处理一张图像分别只需大约0.2085s和0.1734s 。

文章图片
论文地址:https://arxiv.org/pdf/2010.16188v1.pdfGitHub地址:https://github.com/JizhiziLi/animal-matting
推荐阅读
- 科技|2022年七大前沿科技:每一项都能改变世界
- realme|定位新一代“科技国潮”!realme V25官宣将搭载神秘新科技
- 国产|打造出国产7nm GPU!壁仞科技迎一员大将:原NVDIA高管杨超源入职
- 科技前沿|首次100%满功率!我国第二台华龙一号核电站又近一步
- 俞敏洪|俞敏洪进军科技界!新东方成立科技公司:经营范围含集成电路、5G
- 智能手机|科技圈的脱口秀大王?盘点卢伟冰那些年说过的金句
- 冬奥会|北京冬奥会火炬接力点位确定!火炬设计师曾任锤子科技高管
- 科技|可穿透物体内部成像 我国成功研制国际首台高分中子照相机
- 罗永浩|50亿!交个朋友2021年抖音直播带货第一:罗永浩称年后回归科技界
- 罗永浩|“行业冥灯”老罗回归!不做手机、元宇宙 只为科技界
