「」飞桨火力全开，重磅上线3D模型：PointNet++、PointRCNN！
11 年前的「阿凡达」让少年的我们第一次戴上 3D 眼镜 ， 声势浩大的瀑布奔流而下 ， 星罗棋布飘浮在空中的群山 ， 无一不体现着对生命的敬意 ， 妥妥的坐稳了 2010 年北美、海外、中国和全球票房 No.1 的宝座 ， 「3D」正式进入了大众的视线 。
文章图片
文章图片
图片来自网络
11 年过去了 ， 出走半生 ， 我们依旧少年 ， 「阿凡达 2」依旧没有如约上映 ， 但 3D 应用却在此期间得到了蓬勃的发展 。
这一方面得益于 3D 传感器技术的飞速发展 ， 用户可以更加便捷地获取到三维图像数据；另一方面随着机器人、无人驾驶、AR&VR 等业务的日趋成熟 ， 需要快速处理和理解海量的 3D 数据 ， 以便精确感知周边物体的空间信息 ， 3D 数据的深度学习需求应运而生 。
随着 2020 年中国新基建政策的发布 ， 相信未来 3D 视觉技术将会有更广阔的应用空间 。
文章图片
文章图片
No.1
3D 深度学习需要什么格式的数据输入呢？
2D 图像可以天然的表示成二维矩阵 ， 但 3D 数据却非常复杂 ， 它有很多种表达形式 ， 如：点云、体积像素、多边形网格和多视图 。
在 3D 深度学习领域中 ， 点云数据应用最为广泛 。这是因为点云数据非常接近原始的传感器数据 ， 采用这种形式 ， 可以更好的挖掘原始数据中的信息 ， 使用较少的数据即可表征较多的细节的特性 。
此外点云的表达形式非常简单 ， 模型训练时 ， 对 GPU 性能没有太高的要求 。
文章图片
文章图片
但是点云是不规则的数据 ， 在空间中可以任意分布 。传统情况下 ， 可以先将点云数据转化成体积像素表示方式 ， 再复用 2D 图像的 CNN 模型 ， 但是代价会非常高 。
原因是体积像素在空间中的稀疏性使得 3D CNN 训练对显存要求极高 ， 模型难以收敛 。
那么 ， 是否有方法可以直接在点云上数据上实现特征学习呢？
飞桨开源框架 1.7 版本发布了用于 3D 点云分类、分割和检测的 PointNet++ 和 PointRCNN 模型 。
支持 ShapeNet ， ModelNet ， KITTI 等多种点云数据集 ， 在 ModelNet40 数据集上 ， PointNet++ 分类精度可达 90% ， 在 KITTI（Car）的 Easy 数据子集上 ， PointRCNN 检测精度可达 86.66% ， 持平世界领先水平 。
开发者在飞桨框架基础上可快速完成任务 ， 实现工业应用 。https://github.com/PaddlePaddle/models/tree/release/1.7/PaddleCV/3d_vision
No.2
PointNet++ 原理和实验表现
PointNet++ 核心是通过多级点集特征学习提取点云数据的特征 ， 然后将提取的特征分别输入到分类和分割网络 ， 进行 3D 数据的图像分类和语义分割 ， PointNet++ 网络结构下图所示 。
文章图片
文章图片
①多级点集特征学习（Hierarchical point set feature learning）
集合抽象层是多级点集特征学习的基本模块 ， 由如下三个关键部分组成：采样层： 使用最远点采样（FPS）的方法 ， 从输入点中选择一组点 ， 定义局部区域的中心 。分组层： 根据中心点进行分组 ， 将云点数据划分成若干个局部区域 。特征提取： 通过 PointNet++ 对各个局部区域进行特征提取 ， 获得局部特征 。
推荐阅读
- @友商火力全开，6GB运存+4800万四摄+大电池+20W闪充，跌至1048元
- 「科技X菌」轻薄高性能+超级闪充，OPPO Ace2火力全开，明天等一个价格？
- 科技小E■友商火力全开，6GB运存+4800万四摄+大电池+20W闪充，跌至1048元
- 『』倒计时两天，OPPO Ace2爆料汇总，轻薄高性能火力全开！
- #5g#库克火力全开，新款iPhone再降价，销量很可观，5G真没那么重要？
- 「小米」同比大涨160%，百款智能产品火爆销售！小米AIoT智能设备火力全开
- 『开发者』开发者称：索尼PS5比Xbox Series X更容易性能全开
- 『小米』米粉节火力全开，好物齐降价，这几款产品你怎么看？
- 『科技小E』库克火力全开，苹果A13+无线充电+面容ID，iPhone11跌至冰点价
- ：生产线“火力全开”，“科研线”大手笔投入！这家企业交出复工亮眼成绩单