|ECCV 2020最佳论文讲了啥？作者为李飞飞高徒邓嘉( 二 )
这个数据集也成为许多光流预测网络必备的数据集之一 。
然而 ， 上述基于深度学习的经典光流预测算法 ， 存在着几个缺点 ， 无论怎么优化 ， 这些缺点都会因为框架自身而一直存在 。
但在RAFT ， 这个全称光流循环全对场变换的框架中 ， 过往的3大缺点都被一一解决了：
突破局限 ， 三点创新
第一 ， 先前的框架普遍采用从粗到细的设计 ， 也就是先用低分辨率估算流量 ， 再用高分辨率采样和调整 。
【|ECCV 2020最佳论文讲了啥？作者为李飞飞高徒邓嘉】相比之下 ， RAFT以高分辨率维护和更新单个固定的光流场 。
这种做法带来了如下几个突破：低分辨率导致的预测错误率降低 ， 错过小而快速移动目标的概率降低 ， 以及超过1M参数的训练通常需要的迭代次数降低 。
第二 ， 先前的框架包括某种形式上的迭代细化 ， 但不限制迭代之间的权重 ， 这就导致了迭代次数的限制 。
例如 ， IRR使用的FlowNetS或PWC-Net作为循环单元 ， 前者受网络大小（参数量38M）限制 ， 只能应用5次迭代 ， 后者受金字塔等级数限制 。
本文插图
相比之下 ， RAFT的更新运算是周期性、轻量级的：这个框架的更新运算器只有2.7M个参数 ， 可以迭代100多次 。
第三 ， 先前框架中的微调模块 ， 通常只采用普通卷积或相关联层 。
相比之下 ， 更新运算符是新设计 ， 由卷积GRU组成 ， 该卷积GRU在4D多尺度相关联向量上的表现更加优异 。
光流预测的效果
话不多说 ， 先上RAFT光流预测的效果图 。
这是在Sintel测试集上的效果展示 ， 最左边是真值 ， 最右边是RAFT预测的光流效果 ， 中间的VCN和IRR-PWC是此前效果较好的几种光流预测框架 。
本文插图
可以看出 ， 相较于中间两个框架的预测效果 ， RAFT的预测不仅边界更清晰 ， 而且运动的大小和方向准确（看颜色） 。
此外 ， 在KITTI数据集上的预测效果也非常不错 。
图左的几辆小车被清楚地预测了出来 ， 而图右中 ， 驾驶方向不同的车辆也能用不同的颜色（红、蓝）区分标记 。
本文插图
不仅小视频 ， 在1080p的高分辨率视频（DAVIS数据集）中 ， 光流预测的效果也非常不错 。
本文插图
有意思的是 ， 在训练参数（下图横轴）几乎没有明显增加的情况下 ， RAFT在一系列光流预测框架中 ， EPE误差（下图纵轴）做到了最小 。
本文插图
由上图可见 ， 团队同时推出了5.3M参数量和1.0M轻量级的两个框架 ， EPE误差效果均非常好 。
从效果来看 ， 在KITTI数据集上 ， RAFT的F1-all误差是 5.10% ， 相比此前的最优结果（6.10%）减少了16%；在Sintel数据集上 ， RAFT只有2.855像素的端点误差（End-Point-Error） ， 相比先前的最佳结果（4.098 像素）减少了30% 。
不仅推理效率高 ， 而且泛化能力强 ， 简直就是光流预测中各方面超越SOTA的存在 。
那么 ， RAFT的框架究竟是怎么设计的呢？
高性能端到端光流网络架构
从图中可见 ， RAFT框架主要由三个部分构成：特征编码器、相关联层（correlation layer）和基于GRU的更新运算器 。
推荐阅读
- 2020|2020年搜狐Q3总营收1.58亿美元 品牌广告收入环比增长8%
- 社会|2020企业社会责任排名揭晓 松下电器荣获多项殊荣
- 服务|薪宝科技荣获2020（深圳）人力资源数字化科技大赛二等奖
- GIS|担当新作为，融创新未来——2020第八届高校GIS论坛在广州成功举办
- |2020环球“金趋势奖”年度赋能创新奖项候选——医渡云
- 项目|长三角产业合作区科技交流大会暨2020年长兴县第二届创新创业大赛成功举办！
- 行业互联网|2020十大新兴技术揭晓！每一项都可能颠覆我们的生活
- 荟网Bamboo|5招爆单，不靠亚马逊广告，2020节日季爆单攻略
- 投资界|2020投资界 「F40中国青年投资人榜单」评选正式开启
- 英特尔|非K第十代酷睿最佳搭档 中端主板也可以很全面