9月26日,华为在国内召开的新品发布会上,正式发布旗下首款VR(虚拟现实)头显产品——华为VR Glass,引起了业内的极大关注。而随着10月19日,“2019世界VR产业大会”的召开,进一步推升了VR产业的热度。目前三大运营商都在积极推动云VR及5G业务,华为近日也宣布将推出业界首款千兆VR ONT(光猫)新品,实现极致的VR业务体验,重构VR视界。而随着5G的到来以及云VR技术的应用,VR也即将迎来新的爆发点。
一、从“VR元年”到“VR寒冬”
2014年,Facebook斥资20亿美元收购VR创业公司Oculus,引发了全球众多企业和资本的关注。同年年底,三星也推出了第一代三星Gear VR。2015年,多家大厂开始投入VR产品的研发。而2016年,则堪称“VR元年”。这一年,Oculus推出了Oculus Rfit,索尼、HTC等众多大厂也都纷纷杀入VR市场,并推出VR产品,微软也推出了MR产品Hololens,甚至苹果、谷歌当时都成立了VR实验室。
与此同时,成本低廉的VR盒子也快速兴起。由于无需芯片、主板、显示屏等组件,配合手机及相应软件即可使用,制作简单、价格低廉、简单易用的VR盒子的出货量快速暴涨。
2016年上半年之时,就有媒体曝出深圳的VR盒子月出货量已经超过1500万台,而几个月之后这一数据又变成了3000万台。足见当时的VR盒子市场的火爆。
当时国内的华为、小米等众多手机、数码品牌厂商都纷纷推出了自己的VR盒子产品。
但是,由于VR盒子需要配合手机来使用,而当时手机的屏幕分辨率普遍并不高,即便是在1080P的情况下,颗粒感也是很明显。再加上当时智能手机的处理器硬件性能上的限制,在VR体验上存在着很大的瓶颈,并且会有比较严重的发热情况。此外,手机的电池续航也是一大瓶颈。这也使得VR盒子在体验上较差。
而且,由于VR盒子制造门槛很低,使得VR盒子很快就进入了一片红海,VR盒子的价格短短几个月的时间,从最初的数百元一路骤降至十几块,竞争的白热化,成本的极度压缩也使得VR盒子越做越烂,极大的影响到了用户体验。
当时的中央电视台就曾在节目中痛批做工粗糙的VR手机盒子,认为这些低劣的产品严重影响了VR产业的发展,很难让消费者体验真正的VR。
相对于VR盒子来说,拥有独立的软硬件系统的VR一体机的体验可谓是提升了几个档次,因此也很快获得了市场的热捧。上游的高通、瑞芯微、全志、炬芯等芯片原厂也纷纷入局,力推VR一体机方案,有些甚至还特别针对VR市场推出了相应的芯片方案。国内的VR一体机厂商更是如雨后春笋班兴起,原先做平板的厂商绝大多数都开始做起了VR一体机。
值得一提的,当时国内的暴风科技也很早杀入了VR市场,不仅推出了VR一体机,还玩噱头发布了“VR电视”。得益于榜上了VR概念,也使得当时暴风的股价扶摇直上。
但是,当时的VR一体机不论是在软件还是硬件上,更多都是利用原先用于平板电脑、智能手机的供应链,只不过是把手机或者小平板做进了VR盒子,在屏幕的分辨率、刷新率、处理器的性能、发热等众多问题仍没有得到很好的解决。再加上VR应用的粗糙,以及优质VR内容资源的匮乏,也使得VR一体机的体验远不如索尼PS VR、HTC Vive等PC主机 VR头显的效果,相比之下,当时的VR一体机的主要优势只在于其便捷的移动性(没有线缆的束缚)和更为低廉的价格。
而随着大量的VR一体机厂商的涌入,以及有限的市场需求,使得VR一体机市场快速进入了惨烈的价格战。值得一提的是,在这一波的VR一体机的热潮当中,涌现出了非常多的新的VR创业公司。而随着市场竞争的加剧,以及市场前景的不明,资本开始快速退却。2016年底至2017年上半年,大批VR企业出现倒闭,退出或转型。VR行业开始进入“寒冬”。
二、寒冬过后,VR即将迎来“第二春”
虽然自2017年之后,VR市场似乎进入了“寒冬”,但是仍有不少的VR厂商在坚守。比如Oculus、索尼、HTC,以及国内的3Glasses、大朋VR、Pico(小鸟看看)等。
目前索尼、Oculus 和 HTC仍是高端 VR 设备的三大厂商,索尼一直专注于外接游戏主机的 VR 头盔游戏应用,而 Oculus、HTC 在 VR 主机头显和 VR 一体机均有所布局。
具体出货量方面,根据拓墣产业研究院的数据显示,2018 年 Sony、Oculus 和 HTC 出货量分别为 200 万台、90 万台、60 万 台。2019 年 Oculus 产品成长幅度最大,包括既有的Oculus Rift、与小米合作的Oculus Go,再加上将于 2019 年初正式发售的 Oculus Quest 在内的产品线,预估出货量将攀升至 170 万台,而Sony 的 PS VR 在新产品尚未推出的情况下,预估仅会成长至 220 万台。从整体的出货量来看,这个量级还很小。
相比之下IDC的数据更为乐观,其预计全球 AR/VR 头显出货量在 2019 年将达到 890 万台,同比增长 54.1%,预计全球出货量将在 2023 年突破 6860 万。其中 VR 头显的出货量将达到 3670万台,2019-2023 年期间复合年增长率为 46.7%。
而 2018 年中国 AR、VR 头显设备出货量分别达 3.2 万台以及 116.8 万台,预计到 2023 年中国 VR 头显设备出货量将突破 1050.1 万台,AR 头显设备出货量将达到 821.4 万台,2019-2023年期间复合年增长率为 55.15%,高于全球增速。
在市场份额方面,根据statista的最新数据显示,2018年全球VR市场,索尼占据了高达43%的市场份额,其次是Oculus(19.4%)和HTC(12.9%),微软只占了3.2%,其他厂商则占据了剩下的21.5%。
▲图片来源:statista
而对于2019年的市场格局,statista预测索尼的市场份额将降至36.7%,Oculus和HTC则将分别提升至28.3%和13.3%。
从市场规模来看,据Greenlight 预测,2018 年全球 VR 整体市场规模超过 600 亿元,预计2020 年全球 VR 市场规模将达到 1600 亿元,期间复合增长率为 63.3%。
根据赛迪顾问的数据,2017 年我国 VR 市场规模为 160 亿元,同比增长 164%,预计到 2020年将增长至 918 亿元,2017-2020 年期间复合增长率将达 77.85%,高于全球增速。
从产业成熟度曲线来看,目前 VR 产业已走出低谷期,正处于稳步爬升光明期,有望在未来三年内进入生产的高峰期。国内 VR 技术发展迅速,但产业成熟度仍滞后于国际。
从产品分类上来看,VR一体机虽然性能不如 VR 主机头显强大,但是其能够提供大幅优于手机VR的体验,并且具有便携、无需外部设备且不受线缆限制、价格低廉等优势,VR一体机近年来早已成为了VR设备当中占比也是快速上升。
根据IDC的数据显示,近几年以来VR一体机在全球AR/VR设备出货当中的占比是逐年快速增长,目前占比早已过半。而根据IDC预测,到2023年全球VR设备出货当中,VR一体机的占比将达到59%,VR主机头显占比37.4%,VR 眼镜盒子占比仅3.6%。
在出货增长方面,根据 CCS Insight 预测,VR 一体机将成为未来几年消费者和企业采用 VR 的关键驱动因素,2018 年至 2022 年全球 VR 一体机需求量将增长 16 倍,达到 2900 万台。
VR终端供应链
在国产VR头显/一体机厂商方面,目前主要有HTC、大朋VR、Pico(小鸟看看)、3Glasses、爱奇艺、亿境等,以及刚刚推出VR Glass的华为。其中HTC、大朋、3Glasses、亿境等在VR头显、一体机均有布局, 而Pico和爱奇艺等则专注于VR一体机的开发。此外还有众多的VR企业(如下图):
▲10月19日,在由工信部和江西省人民政府联合主办的“2019世界VR产业大会”上,虚拟现实产业联盟理事长、中国工程院院士赵沁平发布了“2019中国VR 50强企业”名单。
值得一提的是,目前全球 70%的高端头显由歌尔股份代工,大陆的其他 VR 厂商也与之有着诸多合作,我国已成为全球 VR 设备的硬件采购和组装中心。
在上游主控芯片方面,在VR一体机主控芯片供应商主要有:高通、英特尔、瑞芯微、全志科技、联发科、炬芯等;VR主机头显的主控芯片供应商主要有:英特尔、AMD、高通。
在显示屏方面,中高端的VR头显及V一体机的屏幕主要由三星、LG供应,国内则有京东方、维信诺、华星光电、天马等。
在光学镜片方面,国外供应商主要有三星电机、关东辰美、SEKONIX、徕卡等,国内则有大立光、舜宇光学、歌尔股份、水晶光电等等。
从操作系统上来看,不同的 VR 主机头显需要不同的主机系统来支持,而大部分 VR一体机的操作系统则是基于不同版本的安卓系统进行开发的。而在VR一体机系统这块,南京睿悦在国内占据了较大的份额,比如Pico、大朋、爱奇艺、亿境的VR一体机基本都是采用的睿悦的系统。
从内容端来看,主要的VR硬件厂商都是与众多的第三方的游戏、视频平台合作,自己做内容聚合平台,不过少数VR硬件厂商也会自己参内容制作。国外的VR内容平台主要有:Oculus Share、Steam Store、HTC则是与Steam合作的Viveport,索尼的PlayStation Store、三星的Gear Store等,国内则有爱奇艺、PPTV、暴风、腾讯炫境VR等。
三、决定VR体验的关键问题
我们都知道“颗粒感”、“眩晕感”、缺乏“沉浸感”以及交互体验差是VR非常常见的问题。而实际上要想拥有非常出色的VR体验,则需必须解决屏幕分辨率、刷新率、GPU的性能与功耗、视场角(FOV)、畸变、画面延迟、位置追踪、3D音效、网络带宽、网络延迟、内容质量、交互等一系列的问题。
1、单眼4K甚至更高的屏幕分辨率
首先,屏幕分辨率可能需要达到4K甚至更高的级别。虽然目前不少的VR头显或者VR一体机的屏幕分辨率都达到了2K/2.5K级别,但是这还不够,因为VR显示的画面通常是正常屏幕显示效果的数倍放大,而放大之后,如果屏幕分辨率没有足够高的话,那么显示画面可能就会出现颗粒感,或者是没有那么的细腻,也就难以获得深度的沉浸感。
早在2016年之时,Oculus公司首席科学家的Michael Abrash的演讲中就提到,要想VR更具沉浸感和真实性,就需要将单眼分辨率提高到4K,也就是说VR显示器的屏幕分辨率需要达到8K级别(如果是两个独立屏幕的话,则是单屏4K)。
但在目前能够满足这一要求的VR设备可谓是少之又少。似乎只有小派科技2018年上市的小派8K VR头显满足这一要求。
2、更高画质的内容
光有更高分辨率的屏幕还不够,还需要更高画面质量的VR内容来与之相匹配。不然,即使屏幕分辨率上去了,内容画质跟不上,体验依然会很差。而目前4K/8K级别的视频仍然比较有限,而达到4K级别画质的VR游戏更是少之又少,更不要说8K画质级别的VR内容。所以目前制约VR发展的不仅仅是硬件本身,优质的高画质的内容的稀缺也是重要的一个问题。
另外需要指出的是,高质量的VR内容的制作工具也很关键,如果没有很好的工具(包括软硬件),那么优质内容稀缺的问题仍将会是瓶颈。
据芯智讯了解,目前在内容生产工具这块有不少的厂商,比如Unity Technologies的Unity3D,亚马逊推出的基于WebX的Sumerian工具。
国内这块也有南京睿悦,其旗下的Nibiru creator是针对非开发者类客户的VR/AR内容制作工具,可支持用户进行跨平台的制作各类音视频VR内容(提供素材库),同时还支持交互式VR视频的制作和剪辑。另外,随着5G时代来临,Nibiru Creator还将实现全云化,所有过程云上完成。Nibiru Studio则是针对开发者的可视化应用开发工具,可以帮助开发者快速开发AR/VR应用。另外,还有远程缓存渲染工具,针对需要较强的计算力和耗能较高的VR应用,可以将内容渲染负载转移到云端来做。
3、屏幕刷新率
通常条件下,人眼的识别连贯图像的速度是24FPS(帧/秒),所以很多的游戏画面如果能够达到30FPS,那么人眼看到的画面就是比较连贯的画面。但是这并不代表,有30FPS就够了。
因为人眼还是能够感知到高帧率和低帧率之间的区别,帧率越高,画面越流畅,带来的视觉体验效果也就越好,特别是在画面需要频繁快速变换的游戏当中。
有实验表明,一般游戏玩家也能分辨出“144FPS”和“240FPS”的游戏显示画面所带来的体验区别。
而对于VR用户来说,所看到的画面是根据头部运动所看的方向来生成的,如果显示屏幕的刷新率为60FPS,则意味着当头部在16ms甚至更快的时间转向l另一侧的时候,屏幕显示的画面可能仍是之前画面或者是一片模糊。
举个例子,现在眼前的VR眼镜前显示的是一只美丽的鸟,它正从地面向树顶上飞去,如果我们快速的抬头向树顶上看去,此时显示的可能还是鸟儿刚刚离开地面的画面,或者说看到的并不是树顶的画面,过了几十毫秒之后,画面才正确的切换过来。
目前业界普遍认为,VR要想达到相对比较好的沉浸感和体验,画面的刷新率需要达到120Hz(即120帧/秒)甚至更高。
而要想达到这样的体验效果,不仅需要显卡/GPU能够达到120FPS的画面输出,同时,屏幕的刷新率也要能够达到120FPS。如果,显卡能到120FPS,但屏幕刷新率只有60FPS,那么人眼所能看到的效果还是60FPS。
所以,这里就有了两个要求,一个是VR的主机当中的显卡/GPU能够支持高画质下的120FPS输出效果,并且屏幕的刷新率也需要达到120Hz。
而目前手机游戏当中,在高分辨率下,多数也只能跑到60FPS,并且屏幕刷新率大多也只有60Hz,这也限制了画面显示效果的进一步提升。目前,只有少数高端旗舰手机采用了90Hz的屏幕,且只有少数手游支持90FPS的帧率。但是在专业的PC竞技游戏当中,早已用上了120Hz甚至240Hz的显示屏。
目前,高端的主机 VR头显类产品已有部分机型满足120FPS输出和显示的需求,比如索尼的Playstation VR。不过,在VR一体机当中却非常的少,仍有较大提升空间。
4、低延迟
VR的体验实际上是模拟现实,其需要通过传感器(主要是陀螺仪)采集用户在虚拟环境中的信息反馈(主要是头部运动),然后传输到图形引擎处理,然后驱动硬件渲染画面,再到左右两只眼睛对应的屏幕像素显示的切换,最后到人眼看到对应的画面,这中间经过的每一个步骤都会产生一个延迟。而想达到所见即所得的实时反馈,就需要将延迟控制在极低的范围内。
人类生物研究表明,人类头部运动和视野回传的延迟须低于20ms毫秒,否则将产生视觉拖影感从而导致强烈眩晕。由于TFT屏幕本身刷新率低,延时较高,因此VR产品多数选择刷新率可以更高的OLED屏幕。
目前业界普遍认为如果要达到最佳的VR体验效果,那么延迟需要控制在10ms以内。
所以在这10ms之内,需要完成陀螺仪的信息采集——GPU的图形处理——反畸变和反色散算法对与图形的矫正——对应的左右眼睛的不同显示画面的呈现——人眼看到画面。
因此,当GPU处理性能、屏幕的刷新率更高的情况下,延迟可以进一步降低,带来更为出色的VR体验。
5、处理器性能
对于多数的主机 VR头显类产品来说,由于采用的是高性能的独立的主机,因此通常都是会配备高端CPU和独立显卡,因此在计算性能和图形处理能力方面基本能够满足深度沉浸感对于性能的要求的。
但是对于VR一体机来说,更多的都还是依赖于移动处理器,这就对其内部集成的GPU性能带来了非常高的挑战,特别是在高分辨率高帧率输出的情况下。
前面提到,整个VR从数据采集到人眼看到的画面延迟至少需要控制在20ms以内,那么芯智讯就以120Hz的OLED屏为例,1秒/120 = 8.3ms,即每8.3ms会刷新一次,而目前OLED屏幕延时大约为2ms,即每帧画面传输到OLED屏到显示出来需要2ms来呈现,所以从画面传输到120Hz的OLED屏,到呈现出来最多需要10.3ms,另外还需要考虑到陀螺仪的延迟和反畸变和反色散算法的延时。
之前几年有数据显示,反畸变和反色散算法延时为3ms(现在可能已经可以做到更低);1K刷新率陀螺仪本身延时1ms精度,加数据上报延时1ms,总的是2ms的延迟。此外,还有数据传输和GPU本身响应上的延迟。
所以,要想达到120帧/s的输出,并且整个延迟控制在20ms以内,那么留给GPU对于每一帧画面的处理时间可能就只剩下了不到4ms的时间。如果要将延迟控制在10ms以内,那么每一帧高清画面的处理时间可能只有2ms左右。可能这里的估算不够准确,但是也能够大体反映出对于GPU性能的要求非常高。
对此,业界也针对性的推出了注视点渲染技术。因为人类的眼球只有眼球中央凹(Fovea centralis)附近的区域有较高的分辨率,而周围的分辨率会急剧降低,甚至还达不到中央的1/10。
所以,VR设备则可以利用这一特性,在设备中加入对于眼球中央凹追踪的追踪,当用户看向某个方向的时候,设备只需对这一个范围进行高清晰度的渲染,其他区域进行低清晰度渲染即可,这可以极大的降低GPU的负荷(不再需要全局的高清晰度渲染),提升效率,降低能耗,同时可以确保用户无论看向哪个方向都能够获得最佳的视觉体验。有数据显示,采用这一技术可以将渲染性能提升2-3倍。
因此,不少的VR厂商开始在VR设备当中加入了眼球追踪及注视点渲染技术。
另外需要指出的是,如果要播放8K超高清视频,对于处理器的解码能力的要求也是非常的高。目前所有移动端处理器的能力,基本都无法直接对8K片源进行直接的解码播放,这就需要服务端首先进行处理支持,再与移动端进行二次优化配合。
6、视场角
所谓视场角(Field of View,简称 FOV),在显示系统中,就是显示器水平方向上的边缘与观察点 (眼睛) 连线的夹角。人类视觉是由两部分视场组成的。正常来说,人们两只眼睛水平方向上的总视场(即双目 FOV)有近 200°,中间部分大概有约120°是双眼视觉区域,两侧各40°是单眼视觉区域。
所以要想提供深度沉浸的VR效果,VR设备需要提供近似人眼的视场角。但是目前高端的VR头显的水平方向的视场角普遍为110-120°,这与人眼的视场角还有很大差距,因此某些情况下佩戴VR头显的用户很容易“出戏”!
那么如何提供近似人眼的视场角呢?小派科技的推出的8K头显就支持高达200度的视场角,据芯智讯了解,其采用了高阶光学镜片加上特定软件算法的方式来实现。不过,也有厂商开始计划采用半环绕式的曲面屏来打造具有高市场角的VR头显。比如三星在今年年初就曝光了一份全新的VR头显专利,提供了超广的视场。据悉该项专利可以扩大头显视场角达到180°。
当然,提供越大的视场角,不仅需要利用曲面屏幕,还需要在光学镜片上做很大的提升(当前的镜片在周边视觉取悦会发生画面扭曲,还要再加上曲面屏的影响),这些也将使得VR设备的成本大幅提升。而此前Oculus公司首席科学家Michael Abrash的观点则认为,140度的视场角即可使VR更具沉浸感和真实性。
7、畸变
VR之所以能够给用户带来“沉静感”,放在VR屏幕前的对应左右眼的两个镜片是其中的一大关键。正是由于这两个透镜的存在,才使得我们在观看VR时有了较大的视场角和景深。但是也由此带来了“畸变”。
而畸变的产生是由于视物与镜头主光轴存在垂直偏差,镜头焦距的不同会使得成像容易产生不同的畸变。对球面镜片来说这种畸变是不可避免的,并且随着FOV的增大,边缘图像畸变会更加明显。
下面是一个典型的头戴式VR显示屏的显示效果。可以看到,透镜导致了枕形失真。
▲左边是微透过透镜看视物的图片,已经发生了球状畸变
至于解决方案,最为直接的方法就是采用非球面畸形修正镜片,最大程度的减少畸变的产生;另一方面则是通过反畸变算法,将桶状畸变施加到显示的图像上。当我们再通过畸变透镜观察图像时,图像在两次畸变中被中和了,即实现了反畸变。
▲左侧是反畸变之后的视觉效果,右侧是对图像施加畸变算法之后的效果
但反畸变也会带来一些问题,由于图像在显示中边缘的图像就已经被压缩了,因此经过透镜后虽然消除了畸变,但空缺的信息无法恢复,会出清晰度的下降问题,并且因为每一帧都要经过软件的后处理,对GPU等硬件性能的要求更高。
所以,要合理的反畸变,最大的还原实际的效果,消除了不真实感,对于反畸变算法的效率和GPU性能也有着较高的要求。另外需要指出的是,针对不同特性的镜片,反畸变算法就需要对应的进行调整,这是一个系统性的工程。正如前面所提到的,最根本的解决方案还是采用非球面畸形矫正镜片。
8、色散
色散是一个很常见的光学现象,它反映了波长不同的单色光在成像时表现出的位置偏移。比如太阳光通过三棱镜折射之后,就可以看到赤橙黄绿青蓝紫7种不同的颜色的光带。
同样,由于VR当中透镜的存在,当VR头显在使用时,会在边缘区域出现色散现象,这在使用高折射率材料时很容易出现。
从光学设计的角度来说,需要两种或更多的材料才能消除色散,因此原理上来说单镜片(一种材料)是无法解决的。所以目前常规的解决方案是,在图像显示之前,先通过反色散算法,做一个相反的颜色补偿,以解决了该问题。但是,这种反色算的解决方案会对图像清晰度造成一定影响,而且图像上的每一个像素都需要做一次反向色散的处理,增加了硬件负担,会降低图像的帧率。
所以,最好的方法还是采用多组材料不同的镜片组成消色差镜组,用光学的方法消除色边。这在镜头设计中已非常成熟,如复消色差物镜(Apochromatic objective),能够完全消除图像的色差。但是相应的成本也会增加。
值得一提的是,近期美国专利及商标局公布了一批全新的AR/VR专利。其中就包括Oculus申请的:采用C-板的复消色差Pancharatnam Berry Phase组件的光学角度性能的专利。
9、3D全景音效
对于VR来说,只有出色的沉浸式视觉效果还是不够的,还需要有沉浸式的3D全景音效。让用户在虚拟世界当中,能够像是在现实世界中一样,不仅能够感受到逼真的音效,还能够感受到声音的具体来源方位、距离的远近等特性。比如在虚拟世界中,玩家可以清晰的听到背后的人逐渐走近的脚步声。
在3D全景音效这块,目前杜比做的非常不错。杜比在很早就推出了适用于VR的杜比全景声 (Dolby Atmos) 技术。早在2015年的MWC展会上,芯智讯就曾亲自体在杜比展台上验过基于杜比全景声的VR产品,效果确实很棒。另外值得一提的是,杜比还有适用于家庭影院的虚拟3D全景声技术DTS Virtural:X。
10、位置追踪与交互
对于VR游戏来说,精准的实时的追踪玩家所在的虚拟空间位置以及玩家所处的外部环境以及控制器的位置和姿态是一大关键,因为玩家自身是看不到真实的周围环境,而是完全沉浸在虚拟世界之中,所以需要在追踪玩家在虚拟世界中的位置的同时,把玩家和控制器在真实环境空间位置和姿态准确反映出来,才能真正的畅玩。
目前在VR设备当中,比较常见的是3Dof(自由度,Degree Of Freedom)定位,即由3个坐标描述的位置信息。但是,这样只能定位到一个“点”,而子在现实世界任何物体都有体积,仅靠3Dof描述三维空间物体的位置是远远不够的。所以,在3Dof的基础上,还可加入三个角度参数,也就是让物体还能绕三个轴转动,构成6Dof定位,不仅能够定位位置,还能够反应姿态。
目前,位置追踪技术主要有两大类:
①依靠各种外部设备来定位的“外向内追踪技术”(Outside-in Tracking):可通过光学追踪、电磁追踪、惯性追踪、超宽带(Ultra Wide-Band,UWB)追踪等等。这其中,光学追踪是比较常见的方案。
而光学追踪需要有标记点和负责捕捉这个标记点的相机,这其中根据相机和标记点的数量、相机曝光方式、标记点是否有源等,又分成了好几个流派。PS MOVE用的是单相机单标记点;PS VR、Oculus、HTC Vive是多相机多标记点。
目前在众多VR头显上应用较多的还是基于光学的“外向内追踪技术”,以激光扫描方案为例,其优势在于定位具有成本低、定位精度高、可分布式处理等优势,且几乎没有延迟,不怕遮挡和干扰。但是,劣势也很明显,比如:必须校准相机空间位置,如果换个环境就得重新调试;必须在相机覆盖范围内活动等。
②不需要任何外部设备的 “内向外追踪技术”(Inside-out Tracking):
即在头戴设备上安装摄像头,让设备自己检测外部环境变化,经过视觉算法计算出摄像头的空间位置。比如,微软的HoloLens上就有一个深度摄像头,一个200万像素的图像摄像头,以及4个环境感知摄像头。它通过采集环境中的特征点,利用SLAM(即时定位与地图构建)算法获得空间位置信息。
显然,相对于“外向内追踪技术”来说,不依赖于任何外部设备的 “内向外追踪技术”更具灵活性,完全不受外部摄像头的覆盖范围的限制,但是问题在于,成本会大幅的提高。
目前也有不少厂商利用已在智能手机上应用较广的3D TOF技术来实现AR/VR的SLAM。
有了出色的位置追踪,那么就能够精准识别手势操控,或者捕捉双手对于控制器的操控。控制器上甚至还可以加上力反馈,以模拟实际的效果。
11、网络带宽与网络延时
对于在线的VR游戏或视频来说,流畅的VR体验还取决于网络带宽和网络延时,因为如果要在线流畅的体验高画质的VR游戏或者4K VR视频,那么这就需要非常高的带宽和较低的网络延时。特别是对于需要通过无线连接的VR一体机来说,尤为重要。而随着具有高速率、低延时的5G的到来,将有望完全解决这一问题。特别对应现有的通过有限传输的VR头显设备来说,或许将可以彻底放弃线缆连接的方式,改为无线传输。
除了以上所罗列的一系列关键问题之外,VR还需要解决很多问题,比如VR头显/VR一体机的人体工程学设计,如何能够更轻薄,能够让用户佩戴得更为舒适;比如可调调节的瞳距、更大范围的近视度数的匹配设计;比如VR一体机的发热及续航问题;另外为了加强VR的沉浸式体验,可能还需要很多配套的外设来进行辅助等等。但是,总的来说,随着近几年技术的发展,很多问题都已经有了切实可行的解决方案,VR体验已经是越来越好。而随着5G技术、4K/8K超高清显示的发展,将推动VR产业的加速发展。
四、5G及云VR或将成VR最强推力
根据 3GPP的定义,5G移动通信的应用主要包括以下三大类应用场景:eMBB(增强型移动宽带)、mMTC(海量物联网通信)和uRLLC(超高可靠性与超低时延通信)。对应5G技术的三大特性:高达Gbps的下行速率、每平方公里1百万的连接数量和低至1ms的超低延时。其中,超高速率和超低延时的网络传输对于VR体验来说,都说极其重要的。大带宽、低时延的5G使得VR在移动场景下的应用成为可能。
值得注意的是,在2019世界VR产业大会上,华为轮值董事长郭平发表了题为《打造VR/AR信息高速公路,支撑产业繁荣》的主旨演讲。他指出,VR/AR是人机交互体验的革命,与5G产业节奏高度匹配并相互促进,将成为5G首批应用;而在5G等因素的推动下,2019年VR产业迎来了产业复兴期。
数据显示,韩国5G商用69天,5G用户数就突破了100万,其种VR用户占比高达45%。这也意味着5G和VR的用户重合度达到了45%。因此,运营商在大力发展5G的同时,也在力推VR云化技术,以及相关的服务。
1、加速VR云化
所谓VR云化(Cloud VR),即将云计算、云渲染的理念及技术引入到 VR 业务应用中,借助5G高速低延时的稳定的网络或全光网的千兆级家庭宽带,将关键的数据的处理全部放到云端,通过云端强大的硬件将数据处理好之后,输出音视频信号等经过编码压缩后传输到用户的终端设备,再通过VR头显来呈现。
也就是说,5G及千兆级WiFi将可帮助VR主机头显抛弃笨重的主机,在云端强劲的主机性能的支持下,无需通过线缆来传输数据,使得所有的数据传输全部通过无线来实现,获得与VR一体机一样的便携性、移动性,更为关键的是成本也可以大幅降低。要知道一台高端的主机 VR头显价格可能要近万,其中主机占了相当大的一部分。显然,这将大大降低了用户体获得高质量VR体验的门槛。
同样,VR一体机也可以将数据的计算放到云端,因此可以去掉大部分的计算硬件、存储等,体积可以做的更小、重量更轻,成本更低。而且云端可以提供相比本地更为强大的逻辑计算、图形处理和编解码能力,可以很好的解决目前VR一体机在性能上的遇到的瓶颈。
此外,5G可提供低至1ms的 OTA(空中传输)往返的延迟的特性,意味着VR的体验将会更加的顺畅,由网络时延所带来的眩晕感将可得以消除,移动终端的虚拟体验将大幅提升。
当然,并不是说VR云化之后,用户端就只需要一个VR头显就可以了,仍需要基础的视频解码以及控制信令接收和上传相关的器件等。
2、更容易的获取丰富高品质VR内容
我们都知道VR视频是目前VR的最大应用,而不论是4K视频、8K视频,还是高清的全景视频,其体积都是非常大的,将这些内容都放到本地存储然后再来体验,显然是不现实的。所以目前用户体验这些高质量的视频的时候,绝大多数都是通过在线的形式来体验的,这也对于网络传输的速率提出了更高的要求。而5G网络的Gbps的传输速率将可很好的满足这一点。
此外,超高清的VR直播也是需要依赖于5G网络。今年,中央广播电视总台就首次采用了全新技术——“5G VR”技术对 2019 年央视春晚进行实时直播,为亿万观众带来全新的视听体验。为了完成这次首创性的直播,央视联合中国联通、中国移动和华为公司,采用了看到科技提供的 8K VR 全景直播相机 Obsidian 与基于 5G 网络直播软件系统Kandao Live 8K, 打造全景预览央视春晚候播大厅和 VR 直播连线长春、深圳分会场的融媒体电视节目新形式。
还有在线VR游戏等强交互类VR应用,此类应用对于低延时要求更高,不然体验将会很糟糕。而5G的低延时特性则可以很好的解决这一问题。
另外需要指出的是,很多优秀的 VR 内容是分散在多个厂家,难以有效共享和快速分发给用户。而且本地VR大量的内容是离线体验,对于内容的管控难度大,无法保障VR内容提供者的版权。而随着5G的到来,推动VR云化后,内容可以快速在线共享和分发,且管控容易,版权有保障,还可以在云端对数据精准管理和发放。这无疑将推动中小型公司投入到VR内容的制造上。
3、三大运营商积极推动云VR
随着5G商用的开启,5G的基建也开始大规模的投入,这也给运营商带来的很大的压力,因为目前能够给运营商的5G网络带来收益的主要还是5G手机。同时目前5G也缺乏杀手级应用,因此运营商也在积极的寻找新的应用方向,而云VR则被运营商视为推动营收的新增长点。
资料显示,早在2018年7月18日,福建移动就率先开启了全球首个运营商云 VR 业务试商用。依托融合视频平台、云化渲染技术,“和·云 VR”将 VR 内容上云,在保证视频码流稳定传输和高精度图像显示的前提下,降低了对 VR 头显终端硬件计算能力的要求,简化了 VR 设备硬件系统,使VR 消费门槛下降 70%-80%,降低了产业整体运营成本,摆脱了数据线缆对头戴设备的束缚。
2019年6月25日,在2019世界移动通信大会-上海(MWCS2019)举行的“中国移动5G 发布会” 上,HTC 联合中国移动共同推出了 HTC 首款端到端 5G云VR 解决方案。
2018年9月5日,中国联通发布“5G 视频”推进计划,云VR也作为中国联通 5G 的重点创新业务列入全面规划中。中国联通未来计划是用户可以随时随地都能体验或使用 VR业务,而这需要 5G 网络才能实现。
2018年9月13日,在第十届天翼智能生态博览会上,中国电信副总经理高同庆表示,云 VR 是中国电信和华为成立 BJIC 商业联合创新中心后在智慧家庭方向上的重点产品,也是与产业链各方一道,构建共享共赢共创价值的“生态魔方”的重要一步。中国电信宣布将与华为、视博云、Intel 等产业合作伙伴,携手打造 5G 云 VR 生态闭环能力,务实推动产业发展。
随后在今年10月10日,在成都电信新华营业厅,随着市民曾女士完成云VR业务办理,接过电信的VR一体机之后,成为全国第一位云VR用户,标志着云VR业务正式进入商用。
值得一提的是,华为近日宣布,将在10月20日在江西召开的2019世界VR产业大会上发布业界首款千兆VR ONT(光猫)新品。华为表示,这款千兆VR ONT新品,将打破千兆时代家庭网络最后1米的带宽瓶颈,实现极致的VR业务体验,重构VR视界。
不过,云VR 目前还面临着不少需要攻克的难题。其中弱交互业务技术的核心是支持大数据量的编解码、转码和传输,而强交互业务技术的核心是攻克 MTP时延要求难题。另外,5G网络目前有一个最大的问题是5G与WiFi的可切换,这就涉及到资源的切换,但是现在这领域是一个空白,只是一个虚拟机,没法“动”或者只能小范围“动”,同时跨区域使用会带来内容上的体验中断。对此,中国联通方面曾表示,后续会基于固移融合云VR网络解决不连续的用户体验问题。
小结:
通过芯智讯上面的这些介绍,大家应该不难看出,虽然VR市场自2016年爆发之后很快进入了“寒冬”,但是实际上VR市场仍然是在继续成长,并且整个行业在经历了惨烈的洗牌、沉淀之后,也开始变得更加的健康。曾经制约VR体验的众多软硬件上的难题,随着近两年技术的发展,也正在逐步的解决,VR产品的体验也在不断提升。而随着具有高速率、低时延、海量连接特性的5G技术的商用,将有望进一步打破制约VR体验的瓶颈,特别是云VR技术的发展,将有望将更优质的VR体验以更低成本的方式带给用户,加速VR的普及。
编辑:芯智讯-浪客剑
主要参考资料:1、长城国瑞证券:《VR 在 5G 时代将彻底释放潜力,为传媒行业注入新的活力》
2、微型计算机杂志:《有了VR位置追踪技术,它能让你在虚拟世界中自由行走》
3、芯智讯过往相关VR报道文章