你是否知道 没有VR音频就没有沉浸感?

http://www.audio.hc360.com2016年05月20日11:29 来源:公众号 沉浸感T|T

音响灯光

    慧聪音响灯光网报道   

  在电影行业有一句话,“没声音再好的戏也出不来”,这句话强调了声音对电影的重要性。

  这个道理同样适用于VR影视。谷歌Cardboard的高管Nathan Martz曾表示,VR音频不容忽略。他说,许多人认为在开发VR产品和体验过程中,视频和视觉是最重要的因素,其实不然,声音也同样重要。在资深游戏开发者群体中,有一个行业经验——“声音让场景更加真实”。

  但VR音频到底是什么鬼?森声数字科技创始人&CEO张瑞博为我们带来他的看法。

  VR音频的概念

  Q:一提到VR音频,有人会说3D音效(往往是游戏),有人会说杜比全景声,甚至还有说人头录音。到底VR音频是什么?

  A:首先,VR音频并不是一个技术名称。它是对所有能解决VR技术中音频方位模拟的技术解决方案的统称。

  其次,游戏中使用的3D音频也可以包括在VR音频的范畴。上面列举的例子都是在解决特定场景下的特定问题。比如说雷蛇的游戏3D音效和Oculus Audio SDK是解决游戏中虚拟音源的技术。但是,现场采集怎么办?音乐会怎么办?直播怎么办?而杜比Atmos(杜比全景声)的核心是基于object音源的影院扬声器矩阵的还原技术,更多是针对杜比推出的下一代影院效果。这并非真实声场模拟,更多是追求来自于周围和上方震撼的音效。但是,不是影院怎么办?现场采集怎么办?头盔终端回放怎么办?

  在音频技术上,人们会因为实现方式流程以及对应用户场景不同,所采用的技术也完全不同。这并不是提问所理解的一个技术通吃所有情况,而是不同情况都需要对应技术方案。

  VR音频实际效果

  Q:VR音频具体效果以及甄别真伪的方式?

  A:首先我不知道什么叫作伪VR音频。因为VR音频本来就随着VR的发展而开始的一个技术板块。就像是高清标准刚刚开始的时候你能说720p是伪高清1080p是真高清么。只是执行程度彻底与否的区别而已。如果说VR音频效果的话,主要有几个特征点:

  1.能够和头显视觉画面对应,并表现出对应视角下的声源方位与声源距离;

  2.同时体现出对应空间环境中的混响情况、声音反射和吸收情况等;

  3.满足以上要求中部分或者全部都可以叫VR音频。

  有一个图,可以表明VR音频的基本概念。(下图)

  

1

  VR音频的实现要求

  Q:VR音频对比现有的3D音效有什么技术上的硬性要求,比如采集,储存,传输等方面的?)

  A: 3D音效是一个有一定年头的东西了,最早你在一些游乐园中听到3D鬼故事或者是网上的理发店都是3D音效。目前3D音效主要由立体声来承载信息,但是由于VR音频需要实现和头显视觉画面对应的空间音效变化,可以理解为声音的维度升级。如果假设传统的3D音效是2维的话,那VR音效至少要做到3维才能实现基本要求,所以整体信息采集量和传输量和传统的3D音效都是天翻地覆的区别,理论上讲至少4倍以上。

  不过,好在目前的情况看来VR音频并不会对带宽提出新的挑战,因为相对于4K的全景视频的带宽需求,音频提升所带来的带宽压力基本可以忽略了。

  Q:在视频,游戏,电影等不同领域,对VR音频的需求是不是有所不同?为此带来的算法和方案也会有所不同么?)

  A: 答案是肯定的。不同情况下对VR音频的需求和实现方式都是不同的。

  比如游戏中的VR音频,游戏厂商在开发游戏的时候会把对应的发声源object的对应音轨准备好。比如说脚步声,开火的声音,这些音轨都是普通的音轨。在游戏引擎中设置好根据这些发声的object在虚拟环境中与player的相对位置,然后对应调用HRTF(Head Related Transfer Function,头相关变换函数)算法来实现音源的方位化与距离化,最后通过耳机播放让玩家感觉的方位信息,实现听声辨位。

  又比如音乐会VR节目制作,VR游戏中音频不存在采集的问题,因为音轨是准备好的,你不可能把一个现场的音乐会通过事先准备好的音轨代替吧,那就不是这个音乐会了。所以这个时候的VR音频是要通过现场采集的方式来实现。这里实现的方式就比较多了,有通过多向采集再进行声场运算的方式,有通过数字HRTF加工的方式,也有自然HRTF采集的方式,各有各的好处和问题,目前还没有一个标准是肯定的。但是可以肯定的是大多数方式都是通过耳机回放来实现。

  VR音频的挑战与瓶颈

  Q:目前VR音频遇到的技术瓶颈是什么呢?

  A: VR音频相对于现有的VR视频技术而言并不存在非常难受的技术瓶颈。比如说VR视频中的几个比较难受的瓶颈包括终端屏幕dpi(像素密度)、高分辨率传输、带宽等等。这些都是需要非常大的投入促使量变到质变的发展过程。

  但对于VR音频而言,大部分现有的技术加以升级和改进已经可以满足VR的需求,更多的是如何推广和适应实际应用的过程。

  Q:哪一部分成熟之后,VR音频才会大规模在内容商普及?

  A: 虽然没有太大的瓶颈但是技术挑战还是非常大的。我认为在影视与视频节目方面VR音频的主要挑战是对传统制作方式与制作思路的挑战。

  这个问题影响其实非常大,由于VR影视的特殊性,导演在叙事的过程中如何对观众产生视觉方向的引导,如何布置场景,如何隐藏灯光和道具,如何保持观众的代入感和临场感......实际上VR影视对于从19世纪末就发明的电影积累下来的拍摄手法和理论都是颠覆性的。很多以前理所当然的东西到现在都不适用了,各种拍摄团队都在摸索的寻找新的规律和方法,所以VR音频最终能走入千家万户,还要看我们奋战在影视制作一线的工作者能否找到VR音频制作的新规则并创作出各种富有感染力的作品。

  当然,我们作为技术与硬件提供商,也会尽全力去帮助他们一起来寻找VR中的声音之路,毕竟在那在头盔之后可是一个对想象力没有边界的世界。

责任编辑:黄雁

免责声明:凡注明来源本网的所有作品,均为本网合法拥有版权或有权使用的作品,欢迎转载,注明出处。非本网作品均来自互联网,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。

LED显示屏十大评选《慧聪LED》经典工程更多>>

慧聪市场

一周话题人物 [人物关注排行榜]

[赵海天]深圳大学建筑与城市规划学院教授
据了解,目前有不少的舞台灯光企业正在研究如何跨界到商业照明领域,商业照明市场前景如何?[详细]
[凌子斌]锐丰股份总经理
慧聪音响灯光网采访了锐丰股份总经理凌子斌,邀请他就音响灯光行业并购以及资本运作等一系列热点话题一一作答[详细]
[刘云辉]采访明道灯光总经理
刘云辉认为,实行股份制让明道灯光飞速发展,中国舞台灯光正走向国际。[详细]
资讯中心 产业研报 企业中心 人物中心 产品微门户

企业媒体关注榜

话题人物排行榜

1 周宝宁 深圳宝业恒实业 董事长
周宝宁
深圳宝业恒实业 董事长
2 罗安武 前沿科技 总经理
罗安武
前沿科技 总经理
3 陈玉兰 舒伯乐上海区 销售经理
陈玉兰
舒伯乐上海区 销售经理
4 张育铭 海天电子 销售总监
张育铭
海天电子 销售总监
5 刘幼海 上海先进半导体制造有限公司 总裁
刘幼海
上海先进半导体制造有限公司 总裁
6 津贺一宏 松下电器 社长(总裁)
津贺一宏
松下电器 社长(总裁)
8 马修阁 深圳市洲明科技股份有限公司 副总经理
马修阁
深圳市洲明科技股份有限公司 副总经理
8 眭世荣LED产业联合会 会长
眭世荣
LED产业联合会 会长
9 林肇基 欧司朗光电半导体亚洲公司 首席执行长
林肇基
欧司朗光电半导体亚洲公司 首席执行长
10 谢宜云深圳联腾科技有限公司 执行总裁
谢宜云
深圳联腾科技有限公司 执行总裁
收起