以目前的技术VR社交中能做哪些国内外有哪些类似的软件吗

谢邀,VR社交越往后做越拼技术。我在《VR social(虚拟现实社交)体验如何?》中提到的VR社交,只完成了对手的位置方向基本姿态、头部位置的跟踪,这只是VR社交的开始!(如果这算第一代的话,应该只满足了最基本的需求:你看见自己的手,你看见对方的头和对方的手……)之后随着技术的慢慢成熟,一定会有眼球跟踪、面部跟踪……最后做到你看见VR中某人的avatar,你能感觉那就是ta。主要有三种技术——1、avatar 重现;2、脸部表情追踪;3、现实场景的还原。以目前的技术VR社交中能做哪些国内外有哪些类似的软件吗

它的技术主要涉及到捕捉、显示、预测以目前的技术VR社交中能做哪些国内外有哪些类似的软件吗

以目前的技术VR社交中能做哪些国内外有哪些类似的软件吗

—————————————————————————————————————1、avatar 重现可能会追踪你的脸部表情、你的头、你的手、身体……关键这些都是实时的,所以有很多限制:延迟、计算机性能、传感器限制、带宽限制等等。以目前的技术VR社交中能做哪些国内外有哪些类似的软件吗

以目前的技术VR社交中能做哪些国内外有哪些类似的软件吗

以目前的技术VR社交中能做哪些国内外有哪些类似的软件吗

以目前的技术VR社交中能做哪些国内外有哪些类似的软件吗

微软holoportation的avatar 重现(类似于多台相机包围一个物体做三维扫描,只是这里是实时的。):以目前的技术VR社交中能做哪些国内外有哪些类似的软件吗

以目前的技术VR社交中能做哪些国内外有哪些类似的软件吗

以目前的技术VR社交中能做哪些国内外有哪些类似的软件吗

—————————————————————————————————————2、脸部表情追踪这是oculus和南加大合作的一款芯片,用来面部识别。这个技术有多难呢?难到跨学科的程度,CV、传感器、机械学、电子、心理感知、机器学习、面部动画……面部识别现在在VR中实现的难点还是在于用户的头部被HMD遮挡住了。以目前的技术VR社交中能做哪些国内外有哪些类似的软件吗

所以,他们将上面的芯片镶嵌在下图中的泡沫板里(即黄色标记部分),用来捕捉你脸上部的表情。以目前的技术VR社交中能做哪些国内外有哪些类似的软件吗

前面的相机用来追踪用户的下巴和嘴的表情。以目前的技术VR社交中能做哪些国内外有哪些类似的软件吗

以目前的技术VR社交中能做哪些国内外有哪些类似的软件吗

你可以看到眉毛的的微抬和轻轻的斜视。以目前的技术VR社交中能做哪些国内外有哪些类似的软件吗

—————————————————————————————————————3、现实场景的还原这是oculus的VR vision的demo——对场景的重建(reconstruct)。然后是材质、灯光的还原。显然也是机器人无人机方面最重要的CV技术。


推荐阅读