随着VR和AR在视觉精准度和头显舒适度上的不断进步，研究人员一直在努力寻找比手持控制器更加自然的输入方案。近日，康奈尔大学和威斯康星大学麦迪逊分校的工程师们已经开发出一种新的可穿戴系统—Fingertrak，该系统配有四个热敏摄像头，可以敏锐地以3D方式预测20个手指关节的位置。

FingerTrak是在康奈尔大学SciFi实验室以及威斯康星大学麦迪逊分校的研究人员的共同协助下开发的，该设备在手镯上安装了三至四个热敏摄像头，以便共同捕获手姿势。每个热像仪都会跟踪你的手每个部分的运动，将每个图像实时划分为单个缝合的热图像，随后设备将数据传输到连接到Raspberry Pi驱动的网络设备。通过计算机运行深度学习模型，该模型可以预测20个手指关节的位置。尽管成果并不算完美，但FingerTrak可以用于某些形式的VR和AR输入。FingerTrak的其他潜在应用包括人机交互与控制、手语翻译和健康监控，包括发现早期的帕金森氏症和阿尔茨海默氏症等退化性疾病。

研究人员表示该设备仅靠手腕轮廓就可以“准确预测整个手部形态”。该设备将整个传感系统放在手腕上，因次不需要手套、戒指或是先前发布的任何技术。在公布的视频中还演示了FingerTrak是如何将手部运动追踪转化为一只仿生手的运动，并允许计算机确定用户何时在写作、喝咖啡以及使用智能手机的。

目前尚不清楚该系统是否可以快速追踪特定手势，比如用户正在写的是什么。研究人员指出，FingerTrak在测试期间，根据测试背景的不同，平均角度误差率在6.46-8.06度之间。也就是说，对于某些应用而言，这可能是最好的补充性技术，而非完全取代更高精度手指追踪方案。

手腕摄像头可以增强VR头显的由内向外追踪摄像头。原版的FingerTrak已经非常小了，但随着加工设计，它还可以再小一点。系统主要依赖低分辨率（32x24像素）热敏摄像头，这种摄像头的尺寸和厚度比最薄的苹果手表还要薄。

FingerTrak将于9月中旬在2020ACM国际UBICOMP大会上首次亮相。

来源：新浪VR