啥是基于SLAM的AR, 目前有较为有效的SDK或者项目吗?
看题主的问题,应该说的是如何使用离线(offline)重建的结果辅助在线(online)SLAM。我在术语上可能和题主使用的有些偏差,所以可能理解有误。请见谅。如果我理解没错的话,那的确生成的是点云,加上每个三维点对应的描述子(descriptor)。这个描述子可以是SIFT/SURF,也可以是简单的3*3或5*5的patch(当然效果差一些)。这样的话才方便进行相机重定位。当然,不存这些,只存稠密点云和关键帧图像也是可以的,只不过对题主不太实用。但做Markerless AR不一定非要用SLAM的。完全可以用类似object recognition的技术。比如存一些2维图像作为模板,提取特征和描述子。然后每一帧都检测和匹配特征估算Homograph 矩阵反推相机姿态也是可以的。SDK的话,如果题主不差钱,且想用成熟产品的话,Qualcomm的Vuforia是不错的选择。Vuforia Pricing。以前Metaio还可以用,现在被苹果收购了。。。ARToolkit也是一个不错的选择Open Source Augmented Reality SDK。这两年改了很多,已经远超过当年那个只能识别二维码marker的老版本了。上述两款我都没用过最新的SDK,但是从口碑和API文档来看还不错的。我猜题主应该不打算碰太底层的东西,所以学术界的源码我就不推荐了。
■网友
1. SLAM用于地图重建;2. AR中用SLAM主要为了拿到较好的camera pose;3. 无标记AR都用到了SLAM相关技术,如vuforia,metiao;4. SLAM的结果是基于feature的点云,提前重建后可以remap拿到较好的camera pose。
■网友
【啥是基于SLAM的AR, 目前有较为有效的SDK或者项目吗?】 分享一个Android移植项目和增强现实Demo
Martin20150405/SLAM_AR_Android运行效果如下(手机录像比较卡,建议自己尝试一下,在骁龙820及以上CPU基本可以实时):
SLAM-AR-Androidhttps://www.bilibili.com/video/av56266271最大的好处是可以用环境作为模版(基于特征点的SLAM,环境特征要足够丰富才行),相当于用环境特征取代了原先的图片来获取相机姿态。
单目的SLAM,如果不结合其他传感器,会出现尺度不确定的问题,而且存在一定的尺度漂移(以ORB-SLAM为例,就是每次插入关键帧或者检测到回环时)。
模版可以是随便选取的点云,也可以是某些特定的点云。
和Marker还有Markerless不同的是,不再需要在场景中检测标记物来求解相机位姿,因此即便原始的模板变得几乎不可见,依然能保持模型在原始位置。
例如这个视频:
SLAM-AR Far distance showcase
虽然在原理和效果上是优于Marker和Markerless的,但是缺点也很明显:计算量大,速度慢,有一定的Lost Tracking的可能,以及模型会被固定在某个位置,没法随着标记移动(除非重新确定模型在世界坐标系中的放置位置)。
■网友
题主可以看看Intel RealSense ,是基于3D摄像头的
推荐阅读
- |奥迪开发基于C-V2X校车警示系统
- 趣头条|海外媒体称大众正在开发两款基于MEB平台的小型车 ID.1与ID.2
- 基于OGRE的NeoAxis3D引擎和网易的NeoX引擎有啥关系吗
- 上汽大众|大众ID.3将于明年国产,基于MEB平台打造/三种续航
- |@扬州房贷族 利率被动转换成LPR定价,年底前有一次机会
- 基于AGPL协议的开源软件版权归谁
- 刘德华|刘德华“哭穷”称没钱了:以前有钱投电影,现在没了
- 乙肝|如果十几年前有乙肝,到现在都没吃药,会怎样?这个回答请你收下
- 以前的山寨DVD播放机的超强纠错是基于啥原理的
- 肝癌|肝癌来前有预告,身体透露这5个信号时,肝脏或已受损,别忽视
