江苏龙网

  1. 首页 > 人文 > >

最新3D目标检测文章汇总（包含ECCV20和ACMMM20）

作者：蒋天园
来源：公众号@3D视觉工坊
前言3D目标检测在ECCV20的文章中呈现依旧火热的研究趋势 ， 本文对目前笔者看到过的ECCV20和ACMMM20的3D目标检测文章做一个汇总 ， 分类方法按照该方法是否在对应数据集上实验作为分类方法 。
ECCV20在ECCV20接收的文章中 ， 仍然在KITTI上做实验的文章有两篇 ， 如下列举 ， 两篇文章都是采用多模态融合的研究工作 ， 即点云信息和Image信息在特征层融合的方法 。
3D-CVF:GeneratingJointCameraandLiDARFeaturesUsingCross-ViewSpatialFeatureFusionfor3DObjectDetection论文链接：笔者已经在前面的博文中细致的讲解了这一篇将image信息首先转化到点云BEV视角上 ， 然后将特征插值到voxel中心的文章 。 核心创新点就是提供了一种image信息和点云融合的新思路 ， 以往的Image和点云的融合都是通过pix2point的索引矩阵得到图像像素到点云的索引 ， 然后将图像分割特征附加在对应的点云中 。
如下图所示的网络结构图 ， 首先可以看出这也是一篇Image信息和点云信息融合的研究 ， 其次可以简单看出融合的方法是采用multi-scale的feature-fusion融合 ， 主体backbone是pointnet++网络结构；图像stream的结构主要是一个FPN层的语义分割特征 ， 通过作者设计的多个L1-Fusion模块 ， 作者采用对应scale的融合特征来解决图像信息和点云信息的互补补全 。 第二个创新点在于作者提出的CE-loss ， 该损失函数联合了置信度分数和与gt的IOU大小 ， 认为置信度大的proposals对应的IOU重合度也应该相应比较大 。 就作者文中的实验来看 ， 在添加了CE-loss后 ， 其在val上的精度可以提升3% 。
ActivePerceptionusingLightCurtainsforAutonomousDriving论文链接：开源链接：作者单位是CMU ， 该文提出使用light-curtains（一种传感器）来提高自动驾驶中3D目标检测的识别性能 ， 而且本文的另外一个创新点在于利用3D目标检测预测不确定性来知道运动感知 。 主要创新点包括有：（1）利用预测不确定性作为指导来提升3D目标检测的运动感知能力 。 （2）作者利用最大化信息增益 ， 在考虑到网络不确定性的前提下 ， 设计了一个最优化算法来确定哪里适合设置light-curtains（3）作者也提出了一种方法来训练生成onlinelightcurtaindata 。
AnLSTMApproachtoTemporal3DObjectDetectioninLiDARPointClouds论文链接：作者单位是谷歌 。 本文的主要创新点包括：（1）第一个采用LSTM处理点云序列的网络 。 并且多帧融合的效果远好于单帧 。 （2）提出3D稀疏LSTM ， 该结构可以保有一定的记忆能力 ， 同时高效的做fusion 。
Kinematic3DObjectDetectioninMonocularVideo论文链接：作者单位是密西根州立大学这是一篇单目video做目标检测的文章 ， 该文章利用运动学运动提取场景动态 ， 提高定位精度 。 主要的贡献点包括：（1）提出了一个单目vodeo-based的3D目标检测网络 ， 利用集成的运动和3D卡尔曼滤波现实运动约束（2）作者重新构建了3D目标框 ， 即建议将方向重新制定为轴、航向和偏移以及自平衡的三维定位损失 ， 以促进稳定性所需的卡尔曼滤波 ， 以更有效地执行 。 （3）总的来说 ， 作者仅使用一个单一的模型 ， 就能够实现一个全面的三维场景理解 ， 包括3Dbbox,速度 ， 相对运动 ， 不确定性 ， 和自我运动等（4）在单目的3D目标检测中 ， 在KITTI达到了新的SOTA
ACMMM20WeaklySupervised3DObjectDetectionfromPointClouds论文链接：作者团队是微软 ， 就题目而言 ， 本文是一篇采用弱监督学习做3D目标检测任务的文章 ， 这在近期的研究中是很少见的 。 本文的主要贡献点包括：（1）提出了一个无监督的3D目标检测网络 ， 该网络使用所提出的归一化点云密度和几何先验来选择和对齐anchor 。 作者表示这是第一个弱监督学习的基于点云的3D目标检测网络（2）一个高效的方法将2D图像信息和3D点云融合 ， 该方法可以推广到没有三维标注的情形下使用 。
笔者总结就最近的几篇文章来看 ， 现在文章的研究热点依旧在image信息融合和点云时序信息的融合 ， 而最新的利用弱监督信息来做3D点云目标检测也是将弱监督这一个大热门研究点和3D点云融合 ， 这些都还有很多可以值得研究的内容 。
本文仅做学术分享 ， 如有侵权 ， 请联系删文 。
下载1
在「3D视觉工坊」公众号后台回复：3D视觉 ， 即可下载3D视觉相关资料干货 ， 涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向 。
下载2
在「3D视觉工坊」公众号后台回复：3D视觉优质源码 ， 即可下载包括结构光、标定源码、缺陷检测源码、深度估计与深度补全源码、点云处理相关源码、立体匹配源码、单目、双目3D检测、基于点云的3D检测、6D姿态估计源码汇总等 。
【最新3D目标检测文章汇总（包含ECCV20和ACMMM20）】下载3
在「3D视觉工坊」公众号后台回复：相机标定 ， 即可下载独家相机标定学习课件与视频网址；后台回复：立体匹配 ， 即可下载独家立体匹配学习课件与视频网址 。


    推荐阅读


    上一篇：肺炎|哈萨克斯坦新增2114例新冠肺炎确诊病例 累计近11.5万例

    下一篇：|美国政客公开叫卖“中国制造”口罩暗示“中国病毒”，遭批