|ECCV 2020最佳论文讲了啥？作者为李飞飞高徒邓嘉
萧箫 发自 凹非寺量子位 报道 | 公众号 QbitAI
作为计算机视觉三大顶会之一 ， 备受瞩目的ECCV 2020（欧洲计算机视觉国际会议）最近公布了所有奖项 。
其中 ， 最佳论文奖被ImageNet一作、李飞飞高徒邓嘉及其学生摘得 。
本文插图
这篇名为《RAFT: Recurrent All-Pairs Field Transforms for Optical Flow》的论文 ， 究竟讲了啥？
一起来学习一下 。
视频中的「光流预测」
在解读这篇论文前 ， 先来大致回顾一下论文涉及的领域 ， 即光流预测 。
光流预测是什么
在计算机视觉中 ， 光流是一个有关物体运动的概念 ， 指在一帧视频图像中 ， 代表同一目标的像素点到下一帧的移动量 ， 用向量表示 。
本文插图
根据光流的亮度恒定假设 ， 同一物体在连续的帧间运动时 ， 像素值不变（一只小鸟不会在运动时突然变成鸭或者飞机） 。
所以这个运动的过程 ， 就像是光的“流动”过程 ， 简称光流 ， 预测光流的过程 ， 就被称之为光流预测 。
应用上 ， 光流通常会用于视频中的目标跟踪 ， 例如TLD算法 。
本文插图
此外 ， 光流还可以作为视觉里程计和SLAM同步定位 ， 以及视频动作识别和视频插帧等 。
先前光流预测法的缺陷
根据是否选取图像稀疏点（特征明显 ， 梯度较大） ， 可以将光流预测分为稀疏光流和稠密光流 ， 如下图左和右 。
其中 ， 稀疏光流会选取图像稀疏点进行光流估计；而在稠密光流里 ， 为了表示方便 ， 会使用不同的颜色和亮度表示光流的大小和方向 。
本文插图
针对这两种方法 ， 目前有传统预测和基于深度学习的两种经典算法 。
1、传统方法：稀疏光流估计算法
求解光流预测算法前 ， 首先要知道孔径问题 。
如图 ， 从圆孔中观察移动条纹的变化 ， 发现条纹无论往哪个方向移动 ， 从圆孔来看 ， 移动的变化都是一致的 。
本文插图
例子再通俗一点 ， 看看发廊的旋转灯 ， 灯上的条纹看起来总在往上走（其实没有） 。
本文插图
其中一种传统的Lucas-Kanade算法 ， 是求解稀疏光流的方法 ， 选取了一些可逆的像素点估计光流 ， 这些像素点是亮度变化明显（特征明显）的角点 ， 借助可逆相关性质 ， 预测光流方向 。
2、深度学习方法：FlowNet
FlowNet是CNN用于光流预测算法的经典例子 。
在损失设计上 ， 对于每个像素 ， 损失定义为预测的光流值和真值（groundtruth）之间的欧氏距离 ， 称这种误差为EPE ， 全称End-Point-Error 。
本文插图
当然 ， 说到这里 ， 不得不提一句光流预测的经典数据集FlyingChairs（飞椅） 。
为了模拟目标的多种运动方式 ， 飞椅数据集将虚拟的椅子叠加到背景图像中 ， 并将背景图和椅子用不同的仿射变换 ， 得到对应的另一张图 。
本文插图
△ 画风有点像玩个锤子
推荐阅读
- 2020|2020年搜狐Q3总营收1.58亿美元 品牌广告收入环比增长8%
- 社会|2020企业社会责任排名揭晓 松下电器荣获多项殊荣
- 服务|薪宝科技荣获2020（深圳）人力资源数字化科技大赛二等奖
- GIS|担当新作为，融创新未来——2020第八届高校GIS论坛在广州成功举办
- |2020环球“金趋势奖”年度赋能创新奖项候选——医渡云
- 项目|长三角产业合作区科技交流大会暨2020年长兴县第二届创新创业大赛成功举办！
- 行业互联网|2020十大新兴技术揭晓！每一项都可能颠覆我们的生活
- 荟网Bamboo|5招爆单，不靠亚马逊广告，2020节日季爆单攻略
- 投资界|2020投资界 「F40中国青年投资人榜单」评选正式开启
- 英特尔|非K第十代酷睿最佳搭档 中端主板也可以很全面