Facebook详细分享:用精确HRTF可扩展解决方案构建AR空间音频未来

导读FRLR日前分享了关于沉浸式音频研究方面的最新进展,并表示所述研究“与Facebook实现ar眼镜的工作直接相关”。概括而言,团队的目标是将相关技术应用到AR头显中,并允许你在嘈杂的环境中轻松地隔离人
FRLR日前分享了关于沉浸式音频研究方面的最新进展,并表示所述研究“与Facebook实现ar眼镜的工作直接相关”。概括而言,团队的目标是将相关技术应用到AR头显中,并允许你在嘈杂的环境中轻松地隔离人声,同时再现虚拟声音,使其听起来像是来自周围的真实世界。一个定制的头相关传输函数(HRTF)是提供这种体验的关键,但涉及过程耗时且昂贵。所以,FRLR团队正在研究一种能够根据耳朵照片生成精确HRTF的可扩展解决方案。

对于这项研究,Facebook德技术通讯经理丽莎·布朗·贾洛萨(Lisa Brown Jaloza)在一篇名为“音频的未来”的博文对其进行了详细介绍。下面是中国AI网的具体整理:

Facebook详细分享:用精确HRTF可扩展解决方案构建AR空间音频未来

正如著名科幻作家阿瑟·克拉克所言:“任何卓越的先进技术都和魔法相差无几。”我最近有幸见证了Facebook施展的最神奇魔术,而下面我将与大家一起分享个中的神奇。

但首先,我们先进行一定的背景介绍。

无论是甜美的爱人言语,抑或是激昂澎湃的歌曲乐章,声音都包含着不同于其他感官体验的丰富情感。然而,这种体验常常会遭到噪音淹没,因距离而减损,或因我们自身听力的局限而丧失。

世界不需要是这样。请想象这样一个未来:穿戴一副vr头显或AR眼镜后你将能运送到千里之外的地点,然后上课、上班或参加亲戚的生日聚会,而一切仿佛就好像是现实生活一样。这种体验称为“社交临场”。今天的技术尚未实现这一承诺,部分原因是声音不够逼真。有多少次你因为嘈杂的背景而不得不重复自己的话语,或是因为分不清谁在说什么而感到糊里糊涂?

即便是身处同一地理位置,环境的类型同样会影响人际关系的质量。嘈杂的背景会妨碍我们,令我们感到沮丧,或者最终不得不大喊大叫。现在想象一下,同样的一副AR眼镜能够将你的听力提升到全新的水平,允许你在诸如餐馆、咖啡店和音乐会等嘈杂的空间里清晰地听到你希望听到的声音。对于你的面对面交流,这将会产生什么影响呢?

Facebook Reality Labs Research(FRLR)正在构建增强现实和虚拟现实的未来。FRLR汇集了一支由研究科学家、工程师、设计师等组成的跨学科音频团队,并致力于通过激进的音频创新来改善人类交流。这个小组的任务包括两个:创造在感知方面无法与现实区分的虚拟音效;重新定义人类的听觉能力。为了做到这一点,研究人员致力于提供两种新功能:第一,音频临场感,亦即虚拟音效的来源仿佛是与听者存在于同一空间,其保真度之高以至于你无法将真实世界的声源区分开来;第二,感知超能力,亦即即便是在嘈杂的环境中,你将能够将交流对方的音量调大,并对不需要的背景噪音调低,从而提升我们的交流体验。

Facebook详细分享:用精确HRTF可扩展解决方案构建AR空间音频未来

这支世界最大的音频研究团队之一正在探索各种相互关联的研究问题。在短短六年的时间里,原本只有一个人的队伍已经成长为世界级的专家团队。由拉维什·梅赫拉(Ravish Mehra)领导的FRLR音频研究团队致力于解决新颖的研究问题,提出解决方案,并通过令人信服的体验来证明它们。我有幸体验了其中的一些体验,而它们对未来音频通信的影响十分惊人。这是一个关于未来通信的故事,并需要发明一套全新的硬件和软件技术,从而提供逼真的具现体验。

1. 耳听为实:音频临场感

尽管小时候希望长大后能够成为一名摇滚明星,但研究科学家帕布罗·霍夫曼(Pablo Hoffman)如今更接近于一名魔术师。他成功地开发了一个始终在线的音频校准系统,并且可以有效地允许你通过一对耳机听到超高保真度的声音。这个演示采用了FRLR的全新算法和软件处理技术,以及现成的硬件来展示个性化音频和重现房间的声学效果。

我坐在他位于华盛顿州雷德蒙德的办公桌旁。霍夫曼递给我一副耳机,而麦克风专门放到我耳朵的入口处。在接下来的两分钟里,所述麦克风将从我的视觉记录房间的声音。这位研究科学家从不同的地方大声而温柔地说话,他甚至会弹吉他,并且一度把钥匙丢到我的身后。

Facebook详细分享:用精确HRTF可扩展解决方案构建AR空间音频未来

然后霍夫曼播放了录音。音效非常逼真,和真实几乎没有什么区别。事实上,对于坐在他旁边的我而言,我敢打赌当我瞄到他的时候他一定有在说话。但当我正眼看着他时,我能看到霍夫曼的嘴唇没有动。来自霍夫曼方向的声音完全是人工合成。这是两分钟长的既视感(Deja-vu)。

这正是感知方面与现实无法区分的虚拟音效。当你亲身见证的时候,它就像是一种为善的魔法。研究负责人菲利普·罗宾逊(Philip Robinson)解释说:“‘感知方面无法区分’说起来十分简单。但当你亲耳听到的时候,这会是一种无比神奇的感觉。”

免责声明:本文章由会员“王俊明”发布如果文章侵权,请联系我们处理,本站仅提供信息存储空间服务如因作品内容、版权和其他问题请于本站联系