怎样评价全球首款MR智能眼镜易瞳VMG-PROV( 三 )
VST头显硬件上更像VR,摄像头和显示器的刷新延时是先天性的。在OST头显上,现实画面是外部世界的光是通过光学设备穿透进来的,先天零延时零畸变。而视频透视除了刷新延时,还需要矫正因为摄像头的位置和光学与人眼不一样而产生的画面差距,先天会有延时。我们花很多时间,通过硬件和软件的优化去降低延时。但这个延时不可能为零,在这一点上,OST完爆VST。
3、关于VAC问题(平手)
不管是OST和VST,都存在VAC问题。这是我们在使用头显时,深度感知机制在双眼(Vergence)和单眼(Accommodation)上有冲突时造成晕眩的问题。
有兴趣的读者可以自行查阅Vergence Accommodation Conflict或“辐辏冲突”。
Magic Leap的大专利里,也有大量描述过通过光场减缓这个问题的技术。在他们出货前,在这个问题上,目前OST和VST,打成平手。
极客们请继续阅读
VMG-PROV作为一款视频透视的探索工具,性能有限。我希望通过接下来的描述让各位极客认识到购买PROV的风险。
延时问题在VMG-MARK的架构上有大幅度提升,文末我会把细节告诉大家。下图是从我们将要开源放出的Demo工程截图的,可以将一个数字模型叠加到没有预设Marker的桌面上。
在这个开源的Demo中,VMG-PROV通过双目摄像头将现实画面捕获进来,经过头显上FPGA的处理后,通过USB3. 0接口传输到所连接的PC上。现实画面通过软件校准后,Visual SLAM算法开始运算,将预设的数字模型叠加到正确的位置。之后,再通过HDMI将画面传输到头显上的屏幕中。这个开源的工程中包含:
1.VMG-PROV的硬件细节和原理图
如下图所示,VMG-PROV的硬件参数已标注并在下表列出。摄像头采集到的视频画面经过FPGA的处理再传入所连接的PC中,最后通过SLAM把叠加了数字模型的画面在传回人眼。所以在用于AR上,VMG-PROV需要PC完成较大的视频吞吐,因此建议使用高配台式机。
【怎样评价全球首款MR智能眼镜易瞳VMG-PROV】 作为一个MR头显,VMG-PROV的参数只能达到VR的入门水平。我觉得要在MR上做出惊艳的应用,这一代是远远不够的。这也是为什么我希望大家把这个产品作为一个学习与探索的工具,同时也通过大家给我们反馈更多的改进意见。为了让这一切成为可能,我们会提供VMG-PROV的硬件原理图。
2.FPGA上处理图像的硬件描述语言
VST优于OST的关键一点是对现实画面的修改,简单来说,就是通过算法实时P图。
在软件上测试出来的算法如果能通过FPGA实现或加速,对于延时的减少是有很大帮助的。在我们开源的工程中,包含了一个MR的Demo,即实时高动态范围图像合成和映射(Real-Time HDR Composition \u0026amp; Tonal Mapping),完全通过逻辑写进FPGA里面了。
如下图,FPGA控制Sensor高速变换曝光,然后通过合成电路选择出由暗到亮每张图中最好的部分。
FPGA是一种很神奇的芯片,是芯片中的变形金刚。做过FPGA的工程师都知道,FPGA不是普通人搞得定的。
下图给出了我们将要开源的工程中FPGA内硬件描述语言的部分。从Sensor进来的原始数据将完全在FPGA上进行ISP处理,之后合成的HDR将通过USB3.0传到PC中。我相信把上述工程的Verilog HDL开源,可以吸引到各位有勇气的高手加入到芯片级的MR探索中来。通过FPGA配合PC端的需求,进一步减少VST的延时问题。
推荐阅读
- 聪明人养花,这3种“花”怎样也要养一盆,每年能省不少医药费
- 联合国大数据全球平台中国区域中心在杭州成立
- 互联网怎样解决“家政服务上门速度慢”的问题
- 怎样看待从1月8号起,QQ钱包开始提现收费
- 银行it人怎样转型
- 汽车|冬天怎样让车内温度快速升高?座椅加热的最佳使用方式二,外循环的作用总结
- 怎样进入通信行业
- 怎样评价扶他柠檬茶的小说《云养汉》的结尾
- 一同选车|全球销冠!比亚迪的插电混动技术究竟有多强?
- 怎样成为一名合格的Python程序员?
