爱范儿:手上戴个「圈」就能玩 VR,这是什么新玩意?爱范儿2020-07-28 07:08:030阅

一说到玩 VR 游戏 , 想必你脑袋里已经浮现出一个看起来有点奇怪的人——
他戴着一个硕大的头戴设备、两手握着厚重的控制器 , 手臂并不轻松地在空气中张牙舞爪 。 虚拟游戏中 , 他的手紧握手柄 , 变成了哆啦 A 梦一般的圆球 , 灵活的手指在磅礴奇幻的新世界却毫无用武之处 。
不过很快 , 我们就不用握手柄了 。 虚拟世界中的手 , 也将恢复自由 。
来自康奈尔大学和威斯康星大学麦迪逊分校的华人科学家 , 近日联合打造了一副‘3D 手环’—— FingerTrak 。
爱范儿:手上戴个「圈」就能玩 VR,这是什么新玩意?爱范儿2020-07-28 07:08:030阅
文章图片
图1/22戴上这个‘圈’ , 你十指的动作就都能被精准捕捉 , 而且它在未来的玩法 , 可能比你想到的还要多 。
研究成果已经发表在了 《ACM 互动 , 移动 , 可穿戴和普及技术期刊》上 。
它的面世 , 意味着可穿戴传感器技术又迎来了新突破 。
一个能读懂你手的‘圈’
近年来 , 精准的手指运动跟踪 , 已经成了 VR 和 AR 领域研究的热门技术 。
如果你是一个动画师 , 应该就知道捕捉人手有多复杂了 , 手部每个关节的每次弯曲、伸展 , 都有着无数种可能 。
FingerTrak 的最大特色 , 就是用了一种新技术 , 来准确预测每根手指的位置——热传感器跟踪 。
这个‘圈’看起来就像一个双层的手环 , 不过重点是手环周围安装的四个热像仪 。
爱范儿:手上戴个「圈」就能玩 VR,这是什么新玩意?爱范儿2020-07-28 07:08:030阅
文章图片
图2/22这些热像仪非常小 , 长 5.7mm , 直径 9.3mm , 就跟豌豆大小差不多 。
它们的尖端都有一个低分辨率的红外摄像头 , 指向手指的一面 。 虽然分辨率较低 , 只有 32 x 24 像素 , 但它们能够精准地跟踪佩戴者手的运动 。
研究里呈现的红外热像仪图像中 , 可以看到手指橙色和黄色区域在随着指尖移动不断变化 。
爱范儿:手上戴个「圈」就能玩 VR,这是什么新玩意?爱范儿2020-07-28 07:08:030阅
文章图片
图3/22再通过系统中专门设计的深度神经网络(DNN) , 就能准确地根据手腕轮廓 , 预测 20 个手指关节的位置 。
最后 , 将各个轮廓的图像连结在一起 , 就能以 3D 方式重构整只手 。
接着 , 重构的手势信息就能在虚拟模型甚至是机器人的手上再现 。
爱范儿:手上戴个「圈」就能玩 VR,这是什么新玩意?爱范儿2020-07-28 07:08:030阅
文章图片
图4/22在研究人员的测试中 , 设备能够准确地仿生人类动作 。
【爱范儿:手上戴个「圈」就能玩 VR,这是什么新玩意?爱范儿2020-07-28 07:08:030阅】学会翻书:
爱范儿:手上戴个「圈」就能玩 VR,这是什么新玩意?爱范儿2020-07-28 07:08:030阅
文章图片
图5/22拿笔写字:
爱范儿:手上戴个「圈」就能玩 VR,这是什么新玩意?爱范儿2020-07-28 07:08:030阅
文章图片
图6/22拿杯子喝水:
爱范儿:手上戴个「圈」就能玩 VR,这是什么新玩意?爱范儿2020-07-28 07:08:030阅
文章图片
图7/22玩手机:
爱范儿:手上戴个「圈」就能玩 VR,这是什么新玩意?爱范儿2020-07-28 07:08:030阅
文章图片
图8/22热传感器跟踪的新方式 , 极大改善了手部动作的识别能力 。
因为设备不再是通过摄像头直接捕捉手指位置 , 而是结合热成像和机器学习技术来‘隐形’获取 。 摄像头拍不到的地方、检测不到的细微运动 , 将都可以被‘看到’ 。
这也是第一个基于手腕轮廓来重建全手姿势的系统 。
在对 11 位受试者的测试中 , 研究结果表明识别角度误差为 6.46° 至 8.06° , 而且背景越均匀 , 错误率就越低 。
不能说已经实现了高精度跟踪 , 但是至少实现了一种更好的手指跟踪解决方案 。
爱范儿:手上戴个「圈」就能玩 VR,这是什么新玩意?爱范儿2020-07-28 07:08:030阅
文章图片
图9/22玩 VR 不用手柄了 , 但不止于此
研究中的 FingerTrak 原型 , 是连接 Raspberry Pi 进行的运作 。 但研究人员表示 , 未来升级的版本 , 将可以与智能手机连接 , 与 VR 眼镜连接 , 甚至可以无线连接 。
连上之后 , 你戴着手环就可以玩 VR 游戏了 , 手指也能在游戏中进行更自然和多样化的操作 。
在日常生活中 , 它的用处就更贴近每个人了 。
爱范儿:手上戴个「圈」就能玩 VR,这是什么新玩意?爱范儿2020-07-28 07:08:030阅
文章图片
图10/22FingerTrak 将能像智能手表一般 , 监测我们的健康状况 , 但比智能手表厉害的地方在于 , 只要你动动手 , 它就能传达你的身体状态好坏 。
这对于老年人尤其受用 , 特别是通过老年人日常生活如何使用双手 , 从而监测帕金森氏症和阿尔茨海默氏症等疾病的早期征兆 。
在人机交互方面 , 你还能通过 FingerTrak 介入 , 让的家里的机器人模仿人类的动作 , 更好地为我们服务 。
研究人员还指出了一个最有希望的潜在应用:翻译手语 。
毕竟当前的手语翻译技术 , 要不是需要用户戴手套 , 要不是需要使用到相机 , 这两者体验都比较麻烦 , 而 FingerTrak 将能让手语翻译变得直接、快速、人性化 。


推荐阅读