江苏龙网

  1. 首页 > 生活 > >

怎样评价全球首款MR智能眼镜易瞳VMG-PROV( 四 )


怎样评价全球首款MR智能眼镜易瞳VMG-PROV

3.基于PTAM的双目SLAM源代码
VMG-PROV所用的SLAM是基于双目RGB摄像头的，是由大名鼎鼎的PTAM改成的。这个工程就将上文视频中的Miku叠加到了我们的眼镜画面中。PTAM之后，我们还将把传感器数据融合进来，并使用不同的方法（像ORB-SLAM，或LSD-SLAM）实现更稳定的叠加。SLAM这一块我就不画图了，大致的开源内容包括，双目相机的标定矫正，FAST特征点提取，RANSAC \u0026amp; Bundle Adjustment，和Miku的模型。需要用到Unity3D的各位朋友，工程中也有将这套SLAM导入的方法。同时，大家去看源代码的时候可以参照PTAM的相关资料对其进行修改。
怎样评价全球首款MR智能眼镜易瞳VMG-PROV

普通开发者请再等等
讲到这里，我觉得大家对需不需要购买这个“极客版”有了一定的判断。由于VMG-PROV还没有达到应用级别，想在VMG做应用的各位需要等待一下VMG-MARK（开发者版本）。按照目前的进度来说，我们的研发团队已经解决了VMG-MARK的大部分技术问题。我们把VMG-MARK的软硬件架构称为VLLV（Very Low Latency Video See-Through），它将把视频透视的延时难题大幅度的减缓（是减缓不是解决，解决就是Zero Latency了）。所以，希望有落地应用的开发者们最好使用MARK这一款产品，而不是VMG-PROV极客版。
下图是VMG-MARK的架构，起初的设计是为了减少视频吞吐对PC的计算量需求，将高清高帧的现实画面视频流直接从Sensor传入屏幕中，不经过电脑。之后，慢慢演化成了四个模式。
怎样评价全球首款MR智能眼镜易瞳VMG-PROV

我们把这个架构叫做VT Architecture，它的四个运行模式分别是：
1.Hard模式
现实画面的视频信号只通过FPGA和ASIC进行处理，然后马上打到屏幕中。这条路径延时最低，但开发难度最大。写FPGA不难，要的是勇气。
2.Hybrid模式
这条路径最适合用于AR应用的开发。
如图所示，头显上的FPGA将根据需求把视频分流到连接的PC上，然后，再通过FPGA把有姿态信息的数字模型融合到原始高清画面中。这样，我们能大幅度减少现实画面的延时，同时也可以把原本需要的大部分运算资源节省下来，从而减小电脑的配置需求。
3.Soft模式
有心的读者已经发现，这条路径就是VMG-PROV的路径。这条路径功能最强大，但延时最高。视频流经过FPGA/ASIC然后传入电脑，最后经过屏幕显示出来。Soft模式适用于早期验证和实验，通过Soft写出来的工程要按照应用需求进行优化，并在其他模式上来实现。
4.Light模式
Light模式很好理解，就是带Visual SLAM的VR头显。前端的相机虽然不成像，但是在无时无刻地检测头显的平移运动，这和Lighthouse由外至内的检测方法不一样。我们后续开发出更好的SLAM，也会开源，希望大家再等待一下。
写到这，也差不多了。作为一个小团队，我们希望成为自己理想中的极客。我相信我们的身边有很多有分享精神，探索精神，有心灵，有能力，并且会支持我们的人。我们希望把自己的成果分享给这样的人，这也是我们打算开源的最重要的原因。


推荐阅读


上一篇：如果说2k屏幕对于大多数用户没区别的话，那么hifi音质是不是也对大多数用户没有很大的区别。?

下一篇：mmorpg是不是只能等到脑插管时代才能复兴了