江苏龙网

  1. 首页 > 资讯 > 科技 > >

腾讯优图：带噪学习和协作学习，不完美场景下的神经网络优化策略( 三 )


腾讯优图提出了一个框架 ， 叫 Asymmetric Co-teaching 。 因为聚类中存在 inlier 和 outliers ， 这两个不同源 ， 所以用非对称的思想去解决 noise label 的问题 。
【腾讯优图：带噪学习和协作学习，不完美场景下的神经网络优化策略】具体来说 ， 首先有很多 Target Data ， 经过模型聚类得到 Inliers 和 Outliers 。 然后通过 k 近邻将 outliers 进行 label 。 下面一步是比较关键的 ， 和 Co-teaching 一样 ， 我们也并行训练两个神经网络 C 和 M ， 但是我们往 C 和 M 送到的样本是非同源的 ， 一个 inlier 一个 outliers 。 然后 C 和 M 互相发送他们认为 loss 比较小的样本进行迭代训练 。 每次训练之后 ， 再进行聚类 。 不断重复这种迭代过程 ， 最后我们发现 outliers 越来越少 ， Inlier 也是越来越多 ， Inlier 每个 ID 的 noise 也是越来越少 。
腾讯优图：带噪学习和协作学习，不完美场景下的神经网络优化策略
本文插图

Asymmetric Co-teaching 的结果不错 ， 我们主要是在行人重识别这个问题上衡量方法的有效性 ， 也就是 ReID 。 可以看我们这个 clustering-based 的方法在 Market 和 Duke 数据集中有不错的表现 ， 比之前的一些方法也多了五六个点 。
总结一下 ， 关于 noise label 前面主要介绍了七个方法 ， 这些方法可以归为 Feature independent noise 和 Feature dependent noise 。 值得注意的是 ， 并不是一个方法去解决 Feature independent noise 就无法解决 Feature dependent noise ， 只是说一个方法它更适用于解决哪个问题 。 标线框的这两个是我们腾讯优图的工作 。
我的介绍非常有限 ， 如果你感兴趣希望读更多的研究 ， 可以访问这个网址 ， 里面有更多关于 noisy label learining 的文章：https://github.com/subeeshvasu/Awesome-Learning-with-Label-Noise
腾讯优图：带噪学习和协作学习，不完美场景下的神经网络优化策略
本文插图

激活无效滤波器 ， 提升神经网络性能
关于协作学习其实学术界没有统一的定义 ， 一般来讲只要是多个模型互相协作 ， 去解决一个或者多个任务 ， 那就可以把这种学习范式叫做协作学习 。
按照任务分 ， 协作学习可以分成两个：一个是解决多个任务 ， 有 dual learning 和 cooperative learning；一个是多个模型一起协作解决一个任务 。 因为 dual learning 和 cooperative learning 主要是解决自然语言处理的问题 ， 自然语言处理涉及到比如说中文翻译成英文 ， 英文翻译成中文 ， 这是一个两个任务 ， 是多个任务 。 我们这里主要是讲 CV 方面 ， 所以说我们主要讲解决一个任务 ， 接下来会介绍 co-training、deep mutual learning、filter grafting 和 DGD 这几个工作 。
腾讯优图：带噪学习和协作学习，不完美场景下的神经网络优化策略
本文插图

关于 Co-training 的这篇文章 Combining labeled and unlabeled data with co-training ， 非常古老 ， 是 1998 年的 ， 但是它的引用量已经好几千 ， 它其实是解决了半监督的问题 。
发表在 CVPR 2018 年的一篇论文 deep mutual learning 。 它的思想极其简单 ， 我们都知道蒸馏的时候 teacher 是 fixed ， 然后对于学生进行监督 ， 这篇文章的思想就是在蒸馏的过程中老师并不保持 fixed ， 也进行迭代的训练操作 ， 也就是说老师教学生 ， 学生也教老师 。
时间再拉近一点 ， 这是今年腾讯优图中稿 CVPR 2020 年的一篇文章（Filter Grafting for Deep Neural Networks） 。 这篇文章的 motivation 是什么呢？我们知道训练好的神经网络存在很多无效的 filter ， filter pruning 技术主要对无效的滤波器进行移除使网络的推理速度增加 。


推荐阅读


上一篇：深度度量学习的这十三年，难道是错付了吗？

下一篇：搜狐新闻荣耀magic3配置曝光，采用120Hz双挖孔屏+麒麟1020，秋天发布