江苏龙网

  1. 首页 > 资讯 > 科技 > >

|ECCV 2020最佳论文讲了啥？作者为李飞飞高徒邓嘉( 三 )


本文插图

其中 ， 特征编码器主要用来从输入的2张图中提取每个像素的特征 ， 期间也包括一个上下文编码器 ， 专门用来提取图1的特征 。
至于相关联层 ， 则构建了一个4D的W×H×W×H相关联向量 ， 用于表示所有特征向量对的点积（内积） 。 当然 ， 这个4D向量的后2维会被多尺度采样 ， 用于构建一系列多尺度向量 。
下图是构建相关联向量的方法 ， 从图中可见 ， 作者将用了几个2D片段来描述一整个4D向量 。
在图1的一个特征向量中 ， 构建了图2中所有向量对的点积 ， 从而生成了一个4D的W×H×W×H向量（其中 ， 图2的每个像素产生一个2D的响应图） 。
|ECCV 2020最佳论文讲了啥？作者为李飞飞高徒邓嘉
本文插图

这样 ， 就能用大小为{1 ， 2 ， 4 ， 8}的卷积核对向量进行平均采样了 。
而更新操作器 ， 则通过光流预测 ， 来重复更新光流 ， 以展现这一系列多尺度向量的向量值 。
总结归纳一下 ， RAFT的框架流程分为三步 ， 对每个像素提取特征 ， 计算所有像素对的相关性 ， 高效迭代更新光流场 。
目前 ， RAFT框架已经放出了GitHub的项目链接 ， 想要学习代码、或者复现的小伙伴们 ， 可以戳文末传送门~
作者介绍
这篇论文的第一作者是Zachary Teed 。
|ECCV 2020最佳论文讲了啥？作者为李飞飞高徒邓嘉
本文插图

Zachary Teed目前在普林斯顿大学读博 ， 是视觉与学习实验室的一名成员 ， 导师为邓嘉 。 目前的主要研究方向为视频3D重建 ， 包括运动、场景流和SLAM中的结构 。
此前 ， 他曾获圣路易斯华盛顿大学的计算机科学学士学位 ， 并在那里取得了Langsdorf 奖学金和 McKevely研究奖 。
而论文二作 ， 则是普林斯顿大学计算机科学系助理教授邓嘉 。
|ECCV 2020最佳论文讲了啥？作者为李飞飞高徒邓嘉
本文插图

邓嘉曾于2006年本科毕业于清华大学计算机系 ， 随后赴美国普林斯顿大学读博 。
2007 年 ， 李飞飞回到他的母校普林斯顿大学任职后便开始启动 ImageNet 项目 ， 李凯教授作为支撑 ， 将邓嘉介绍到李飞飞的实验组中 ， 2012 年邓嘉于普林斯顿大学获计算机科学博士学位 。
这并非他第一次获ECCV最佳论文奖 。
2014 年 ， 邓嘉就曾凭借论文《Large-Scale Object Classification Using Label Relation Graphs》获得当年的ECCV最佳论文奖 ， 并且是该研究的第一作者 。
|ECCV 2020最佳论文讲了啥？作者为李飞飞高徒邓嘉
本文插图

除此之外 ， 他也是ImageNet论文的第一作者 。
传送门
论文链接：https://arxiv.org/abs/2003.12039
项目链接：https://github.com/princeton-vl/RAFT
— 完 —
量子位 QbitAI · ***签约
关注我们 ， 第一时间获知前沿科技动态


推荐阅读


上一篇：|“智能的车”驶上“聪明的路”，5G车联网打通万亿产业链

下一篇：巨浪|想顺利开发一款APP？IT工程师给你讲APP开发流程