Facebook未来的AR智能眼镜计划将涉及智能音频
据外媒CNET报道,Facebook未来的AR智能眼镜计划仍在酝酿之中,但其中一部分可能很快就会对外公布,那就是智能音频。空间音频和增强音频现实是Facebook积极感兴趣的两个领域,该公司最新的Facebook现实实验室研究更新详细介绍了该公司计划如何制造能够调出现实世界的设备,并使虚拟对象听起来就在用户身边,即使它们并不真的存在。
Facebook的两项独立技术-Audio Presence和Enhanced Hearing,都是该公司试图破解的音频难题的一部分。与此同时,更大的增强现实领域仍然是一个悬而未决的格局,包括苹果、谷歌、微软、Magic Leap等在内的公司都旨在推动未来十年的创新。
Facebook原本计划在本月晚些时候即将举行的Facebook Connect大会上进行演示。但由于新冠大流行导致的社交距离问题,记者却在与Facebook Reality Labs研究负责人Michael Abrash和一个音频研究团队的聊天中得到了虚拟的介绍。
智能音频AR并非是全新的:Bose在今年早些时候其AR音频部门明显被关闭之前,已经尝试了多年。苹果的AirPods Pro拥有主动降噪和直通功能,并将在今年秋天加入3D空间音频支持。空间音频已经是现实VR的关键功能,但Facebook的下一波计划更注重对话、注意力和音频的保真度,包括在一些地方3D放置隐形扬声器,让人觉得它们就在同一个房间里。Abrash说:“对我来说,最了不起的是,一切(关于Facebook新音频技术)在合理的时间内是绝对可行的。”
根据Abrash的说法,这项音频技术最终有可能出现在Oculus Quest等VR头盔上,甚至是其他Facebook设备上。
Facebook目前一直在进行的使用空间音频的实验涉及到使用一个消声室和一个带有扬声器阵列的机械臂来包围一个人,并为他们的耳朵计算特定的空间音频几何形状,这需要30分钟,所以它还很难便携。下一步将是把这个过程缩小到拍摄耳朵的照片来获得这个测量结果(Facebook称之为头部相关转移功能,或HRTF)。Facebook一直以来用来测试测量后的音频的设置,更像是带有音频播放和聚焦麦克风的眼镜,还没有视觉元素。
Facebook Reality Lab Research的音频小组也希望让这种音频技术成为辅助性的技术,在过滤背景噪音,或者其他人说话的同时,倾听和增强对话,提高语音的清晰度。
Facebook的一些3D音频和音频感应超能力的概念,让CNET记者Scott Stein 想起了多年前在多普勒实验室尝试的工作,在其Here One耳塞上的各种环境噪音过滤器。Facebook的研究使用波束成形来聚焦音频,也使用了测试者佩戴的空间感知原型,这些原型有定向麦克风。该公司已经制作了一个定制的入耳式显示器来创建这种音频,目的是最终将这种技术构建到未来的产品中。
Facebook还没有明确说明这个过程,但该公司周四发表的一篇博客文章承诺,这种未来的音频可以作用于导航AR优化的Live地图,而Facebook目前正在组装空间地图世界。Abrash承诺,该公司在空间音频方面的进展已经产生了逼真的3D音频,看起来像是来自真实世界,而不是来自耳机,但目前的研究涉及到复杂的耳朵扫描和一个特定的、空间映射的房间。该公司正在努力开发算法,有可能在家里用简单的摄像头耳部扫描就能工作,让这项技术更容易获得。
来源:cnBeta