技术编程|基于层级图网络的图卷积：用点云完成3D目标检测
论文：A Hierarchical Graph Network for 3D Object Detection on Point Clouds
由于大多数现有的点云对象检测方法不能充分适应点云的特征（例如稀疏性） ， 所以一些关键的语义信息（如物体形状）不能被很好的捕捉到 。 本文提出了一种基于层级图网络（HGNet）的图卷积（GConv） ， 可以直接将点云作为输入来预测 3D 的边界框 。 形状注意图卷积（SA－GConv）可以通过剑魔点的位置星系来描述物体形状 ， 基于 SA－GConv 的 U 形网络可以通过改进的 voting 模块获取多层级的特征进而生成候选 ， 然后一个基于图卷积的候选推理模块考虑全局的场景语义来对边界框进行预测 。 该框架在两个大规模点云数据上的表现超过了目前最先进的模型 。
论文背景
由于点云的稀疏性 ， 一些已有的为网格形式数据设计的方法（如 CNN）在点云上的表现并不好 ， 为解决这一问题 ， 最近有一些对点云数据的方法被提出 ， 例如基于投影的方法、基于体卷积的方法和基于 PointNet 的方法 。 前两种试图将点云数据严格转换为网格结构数据 ， 而后一种则在不明确考虑点的几何位置的情况下聚合特征 。
与其他方法相比 ， PointNet＋＋ 可以保留点的稀疏特点 ， 因此被广泛作为框架的骨架 。 当目前仍有一些未能很好解决的挑战 ， 首先由于没有考虑点的相对几何位置 ， 因此使用 PointNet＋＋ 作为主干忽略了一些局部形状信息 。 其次 ， 框架的结构没有充分利用多级语义 ， 这可能会忽略一些有助于目标检测的信息 。
本文提出了一个基于图卷积（GCONV）的层级图网络（HGNet）用于基于点云的 3D 目标检测 。 HGNet 包含三部分：一个基于图卷积的 U 形网络（GUnet）、一个候选生成器以及一个候选推理模块（ProRe Module） 。 基于层级图网络（HGNet）的图卷积
【技术编程|基于层级图网络的图卷积：用点云完成3D目标检测】整个 HGNet 以端到端的方式进行培训 。 在本文的框架中 ， 点云的局部形状信息、多级语义和全局场景信息（候选的特征）已被层级图模型充分捕获、聚合和合并 ， 充分考虑了点云数据的特征 。
本文的主要贡献如下：
（A）开发了一种新的层级图网络（HGNet） ， 用于在点云上进行 3D 对象检测 ， 其表现好于已有方法 。
（B）提出了一种新颖的 SA－（De）GConv ， 它可以有效地聚合特征并捕获点云中对象的形状信息 。
（C）构建了一个新的 GU－net ， 用于生成多级特征 ， 这对于 3D 对象检测至关重要 。
（D）利用全局信息 ， ProRe 模块通过对候选进行推理来提高效果 。
论文模型
本文插图
融合采样
3D 目标检测有基于点和基于体素两种框架 ， 前者更加耗时 ， 由候选生成与预测细化两个阶段组成 。
在第一个阶段 ， SA 用于降采样以获得更高的效率以及扩大感受野 ， FP 用来为降采样过程中丢掉的点传播特征 。 在第二阶段 ， 一个优化模块最优化 RPN 的结果以获得更准确的预测 。 SA 对于提取点的特征是必需的 。 但 FP 和优化模块会限制效率 。
形状注意图卷积
点云通常不能清楚地表示出物体的形状 ， 可以使用其相邻点的相对几何位置来描述点周围的局部形状 。 本文介绍了一种新颖的形状注意图卷积 ， 它通过对点的几何位置建模来捕获对象形状 。
对于一个点集 X ， 其中每一个点由其集合位置 p＿i 以及 D 维的特征 f＿i 组成 ， 我们想要生成一个 X’ ， 本文设计了图卷积用于聚合从 X 到 X’ 的特征 。 与 PointNet＋＋的采样层相类似 ， 本文首先从 n 个点中采样 n’ 个点 ， 通常 K 最近邻（KNN）被用来在采样中保留局部信息将其作为中心点特征 。
推荐阅读
- 行业互联网|华为 | 车载以太网物理层及TSN发展现状 与技术趋势
- 技术编程|什么是Plesk虚拟主机控制面板？
- 电池技术|法国发明出世界最快的电极：可将锂电池的密度提高3倍
- 技术编程|人工智能在大视频运维中如何实现CDN硬盘故障预测？
- 电池技术|关于惠州赣锋建设高端聚合物锂电池研发及生产基地建设，赣锋锂业要干大事
- |加速冲刺世界级技术领先地位，大族机器人获1.65亿元A轮融资
- 解码器|苹果 ProRes 视频编解码器获 2020 技术工程艾美奖
- 数据|徐叶润：另类数据技术是驱动资管科技的核心
- 中年|《经济学人》封面文章解析蚂蚁集团：数字技术的崛起代表了金融的未来
- 行业互联网|北科院轻工所技术入选中关村论坛技术交易大会“产业创新领先技术百强项目榜单”