虚拟现实|VR头盔内建手部追踪实现手语教学
北京联盟_原题是：VR头盔内建手部追踪实现手语教学
作者：DIGITIMES陈明阳
文章图片
文章图片
瑞士伯恩应用科技大学计算机感知与虚拟实境(Computer Perception and VR)研究团队CpvrLab ， 运用Oculus Quest VR头盔内建的手部追踪功能 ， 开发出识别与教授23个德国手语交谈字母手势的Quest App 。
虚拟实境(VR)环境主要依赖口语与肢体沟通方式而非文字 ， 因此聋人在VRChat等沉浸式社群平台需要沟通时经常遭遇许多障碍 ， 虽然简化版手语沟通在VR环境使用已有一段时间 ， 但对聋人而言仍不够方便 。此外现有的VR控制器对手语的支援还相当有限与笨拙 ， 非常需要能在VR环境中完整识别原生手语手势的工具 。
使用者戴上Oculus Quest VR头盔即可使用Quest App ， 在VR环境中学习23个德国手语交谈字母的手势 ， 使用者模仿比画出来的每一个手语手势都会在VR环境中以3D的方式呈现 ， 并由App实时分析与识别 ， 再跟内建的手势模型比对检查是否正确无误 ， 因此技术上而言只要扩充手势模型 ， 就有机会支援任何种类手语手势的识别与比对 。
目前尚无App能在虚拟实境(VR)环境中完整教导使用者学习手语 ， 但运用VR训练手语字母手势的App ， 已证实现有技术具有实现目标的潜力 ， 虽然只有基本功能且局限于德国手语交谈应用 ， 但已计划尽快将其App以开源方式释出 ， 以利第三方将不同种类的手语手势新增到手势模型 ， 或强化手势识别与比对的能力 。
VRChat的使用者指出 ， 由于现有的VR控制器无法提供完整手指追踪功能 ， 因此正确识别手语非常困难 。虽然简化版的新手势让聋人在VR环境中达到某种程度的沟通 ， 但最终仍应发展能让聋人在VR环境中 ， 以完整的原生手语沟通的工具 。此外地区与语言的不同 ， 也让所使用的手语形成差异 ， 因此需要有更准确的输入方法 ， 以免问题更加复杂化 。
【虚拟现实|VR头盔内建手部追踪实现手语教学】Quest体验、游戏、工具的非官方程序库SideQuest已免费提供Quest App ， 有兴趣体验者可透过SideQuest将App侧载Oculus Quest VR头盔 。虽然Oculus Quest VR头盔内建的光学手部追踪功能并非完美 ， 不过确实为解决聋人在VR环境使用原生手语的问题带来一线曙光 。
推荐阅读
- 虚拟现实|荣耀V系列发展史
- 虚拟现实|托尼同款眼镜应运而生？苹果：在做了
- 虚拟现实|主动降噪高颜值蓝牙耳机推荐，烦躁的世界多点清静
- 虚拟现实|苹果提出“隐私屏幕”解决方案；三星发布6G网络技术白皮书
- 虚拟现实|空间音频≠真实现场 声卡的终极形态其实是显卡
- 平板电脑,虚拟现实|专利显示苹果眼镜未来将把虚拟屏幕和ipad iphone叠加 以增强隐私性
- 虚拟现实|创新VR颠覆传统在线学习模式
- 行业互联网,虚拟现实|60 个作品入围，2020 Qualcomm XR 创新应用挑战赛初赛结果公布
- 虚拟现实|Valve发布Steam VR 1.13版本更新
- 虚拟现实|厉害的岂止苹果，华为“新物种”提前泄密，下一个战场即将开启