5G云化虚拟现实白皮书

2019-07-17   未来智库

(温馨提示:文末有下载方式)

目录:

  • 一、 背景概况
  • 二、 技术趋势
  • 三、5G 云化虚拟现实应用场景
  • 四、 发展建议

报告内容:

一、背景概况

(一) 5G 三大场景成为经济社会数字化转型的关键使能器

自上世纪 80 年代以来,移动通信每十年出现新一代革命性 技术,持续加快信息产业的创新进程,不断推动经济社会的繁荣 发展。目前,我国移动数据流量的快速增长将使城市核心区业务 密度大幅提升,预计在 2021年左右将超过 4G 网络最大承载能 力。此外,现今的 4G 移动通信技术主要用于消费领域,尚未真 正从根本上变革经济体的工业或公共部门,随着 5G 技术不断发 展并支持海量终端、机器和流程联网,通信将成为一个高速率、 高吞吐量、高可靠性和低时延平台。5G 将以全新的网络架构, 提供至少十倍于 4G 的峰值速率、毫秒级的传输时延和千亿级的 连接能力,开启万物广泛互联、人机深度交互的新时代。

从移动互联网和物联网主要应用场景、业务需求及挑战出发, 可归纳出三大 5G 主要技术场景。一是增强型移动宽带(eMBB), 将扩展现有4G价值,大幅提升网络性能和用户体验,主要用于 虚拟现实、超高清视频等文娱领域,并驱动4.4万亿美元的经济 活动;二是海量机器类通信(mMTC),将提升频谱利用能力, 显著降低成本,促进机器通信和传统物联网应用投入,主要在智 慧城市、智能家居等领域产生规模经济效益,将驱动3.6万亿美 元的经济活动;三是超高可靠低时延通信(uRLLC),支持高可靠性、超低时延、高安全性及可用性的关键业务型应用,如工业自动化、自动驾驶汽车、远程医疗等,将驱动 4.3 万亿美元的经 济活动。根据目标市场需求和技术成熟度,以大型赛事等活动和 娱乐消费为牵引,增强型移动宽带是首先获得应用的场景,其次 是由工业互联网和车联网驱动的超高可靠低时延通信,最后是需 要良好的网络覆盖和低成本通信终端的海量机器通信。总体上看, 5G 的广泛应用将为大众创业、万众创新提供坚实支撑,助推制 造强国、网络强国建设,使新一代移动通信成为引领国家数字化 转型的通用目的技术。

(二) 5G 产业链条长,辐射带动性强

从传统通信产业升级需求和垂直行业应用需求角度出发, 5G 产业可大致分为基础层、设备层、网络层、支撑层以及应用 层。基础层包括集成电路、新型显示、通信组件等,为上层通信 设备和应用服务提供基础技术支撑;设备层包括系统设备、云设备、终端设备和仪器仪表等,为应用服务提供通信传输路径;网络层包括网络规划、运营商、IT 服务和网络安全等,是落实通 信基础设施建设和通信能力保障的重要组成部分;支撑层将提供 云计算、边缘计算、大数据、人工智能等数据处理、挖掘、分析 能力,服务于传统通信和垂直行业的相关应用需求;应用层依托 以上各层基础实现 5G 与大视频(虚拟/增强现实和超高清视频)、 无人机、工业互联网、车联网、医疗健康等各个行业的融合应用。

5G触发信息产业重点领域发展升级。5G 网络规模部署首先将推动 ICT 制造产业升级,射频、天线、光模块及系统设备将迎来技术升级和产业需求扩张。在集成电路等基础硬件方面,5G时代频段数量提升及海量设备连接带来滤波器和功率放大器增量明显,到 2020 年全球射频器件整体规模将达到 200 亿美元, 200mm等效的射频 SOI 晶圆出货量超过 200 万片;同时 5G 网络架构变化以及基站规模部署将有效刺激光模块需求,预计 5G 时 代我国光模块产业投资额大约为 1500 亿元-1700 亿元(包括无线网络和传输网)。在设备层面,Massive MIMO 技术要求天线系统具备 64T64R 或 128T128R 并搭配多组射频单元,5G 时期基站天

线投资规模将远超 4G,总投资额达到约 500 亿元规模水平,并带动 PCB 量价齐升,预计单个 5G 宏基站的 PCB 价值量是 4G时代的两倍以上。在网络服务层面,2017 年我国网络安全产业规模达到 457 亿元,5G 时代以提高系统灵活性和效率并降低成为而引入的 SDN 和 NFV 等IT技术将给网络安全带来更多挑战,预计 5G 正式商用后网络安全产业将迎来全新的增长动能。

5G催生信息产业衍生全新产业链条。其一,移动边缘计算 是为适配 5G 网络超大连接、超低时延以及超大带宽等核心要素 而形成的分布式计算方式,并衍生出全新的产业生态系统,包括 电信运营商、电信设备商、IT 厂商、第三方应用和内容提供商 等多个环节。其二,5G 具有高频和低频两种频谱资源,宏基站 作为低频载体是前期网络商用部署重点,而中后期高频网络的无 缝深度覆盖,将推动基站需求由宏基站向小基站转移,中小型设 备厂商及 IT设备商积极进入小基站市场,预计 2021 年全球室内 小型基站市场规模将达到 18 亿美元。其三,5G 网络呈现软件化、 智能化和平台化趋势,通信技术与信息技术的深度融合将有效推 动 SDN/NFV 等网络服务产业发展,到 2022 年全球 NFV 和运营 商 SDN 市场规模分别将达到375亿和 178 亿美元。

5G赋能跨界应用产业提质增效。5G 通过与交通、医疗、工 业、文化娱乐等各个行业融合,孕育新兴信息产品和服务,产生 各种 5G 行业应用,重塑传统产业发展模式。5G 技术让智能家 居、可穿戴设备等新型信息产品,虚拟现实等数字内容服务真正 走进千家万户,增加信息消费的有效供给,推动信息消费的扩大 和升级,释放内需潜力。5G也将与大数据、云计算、边缘计算、 人工智能等 ICT 前沿科技技术深度融合,产生更具创新的丰富应 用,提升了 5G 各应用领域的智能化水平。

(三) 2019 年成为我国5G商用元年

我国高度重视 5G 战略地位,通过网络强国、制造强国、十 三五规划等对 5G 做出重要部署,旨在完成“2G 起步,3G 突破,4G并跑,5G 引领”的发展任务,使我国成为 5G 技术、标准、 产业和应用发展的领先国家之一。总体发展思路归纳为:加强统 筹规划,建立协同推进机制;统筹科技资源,加大研发支持力度; 推动形成全球统一的5G国际标准;启动技术试验,支撑研发与 国际标准制定;加强组织协调,提高国际标准话语权;开展频谱 研究,为5G发展争取频率资源;注重应用牵引,开展5G面向 行业应用研究;加强开放与合作,推动构建国际合作体系。相应 举措是:成立国家 IMT-2020(5G)推进组;部署重大专项及 863 项目;启动 5G 技术研发试验;推进 5G 与行业应用融合;2019 年 6 月 6 日工信部正式向中国移动、中国电信、中国联通和中国广电4家公司发放 5G 商用牌照。

(四) 基于eMBB场景的虚拟现实成为 5G 应用落地的切入点

我国三大电信运营商积极开展 5G 云 VR 创新业务布局。中 国移动通信集团福建有限公司于 2018 年 7 月开启全球首个电信 运营商云 VR 业务试商用。2018 年9月中国联通发布了 5G+视频 推进计划,将从技术引领、开放合作、重大应用、规模推广等四 个方面启动 5G+视频未来推进计划,并以 8K、VR为代表的 5G 网络超高清视频应用将构成未来中国联通 5G+视频战略核心。中 国电信同期发布了云 VR 计划,将立足中国电信 1.5 亿宽带用户 产业基础,依托于网络、云计算和智慧家庭等方面的优势资源, 联合合作伙伴制定云 VR 规范,加速推进云 VR 技术的产品化和 商业模式创新。此外,为加速虚拟现实产业普及推广,工信部在 2018 年 12 月印发《关于加快推进虚拟现实产业发展的指导意见》(简称《意见》),《意见》提出发展端云协同的虚拟现实网络分 发和应用服务聚合平台(Cloud VR),旨在提升高质量、产业级、 规模化产品的有效供给。

5G云化虚拟现实核心在于内容上云、渲染上云、乃至日后 的制作上云。将云计算、云渲染的理念及技术引入到虚拟现实业 务中,借助高速稳定的网络,将云端的显示输出和声音输出等经 过编码压缩后传输到用户的终端设备,在虚拟现实终端无绳化的 情况下,实现业务内容上云、渲染上云,成为贯通采集、传输、 播放全流程的云控平台解决方案。其中,渲染上云是指将计算复 杂度高的渲染设置在云端处理,大幅降低终端 CPU+GPU 渲染计 算压力,使终端容易以轻量的方式和较低的消费成本能被用户所接受。内容上云是指计算机图形渲染移到云上后,内容以视频流 的方式通过网络推向用户,借助网络的 Wi-Fi 和 5G 技术,可把 连接终端的 HDMI 线减除,实现终端无绳化、移动化。

用户体验、终端成本、技术创新与内容版权成为 5G 云 VR 发展动因。VR 用户体验与终端成本的平衡是目前影响 VR 产业 发展的关键问题。低成本终端确实有助于提升 VR 硬件普及率, 但有限的硬件配置也限制了用户体验,影响了消费者对 VR 的持 续使用和真正接纳。另一方面,以 HTC VIVE、Oculus Rift、Sony PlayStation 等为代表的高品质 VR 设备,其配置套装价格高达数 千乃至万元,过高的终端成本明显制约了高品质 VR 的普及。在 这一背景下,5G 云 VR有望切实加速推动 VR 规模化应用,预 计 2020 年,VR用户渗透率将达 15%,视频用户渗透率达 80%。 通过将 VR应用所需的内容处理与计算能力置于云端,可有效大 幅降低终端成本,且维持良好的用户体验,对VR业务的流畅性、 清晰度、无绳化等提供保障。同时,随着 VR 终端的逐渐普及, VR 内容需要不断适配各类不同规格的硬件设备。在 Cloud VR 架构下,VR内容处理与计算能力驻留在云端,可以便捷地适配 差异化的 VR 硬件设备,同时针对高昂的虚拟现实内容制作成本, 也有助于实施更严格的内容版权保护措施,遏制内容盗版,保护 VR 产业的可持续发展。此外,由于 Cloud VR 的计算和内容处 理在云端完成,VR 内容在云端与终端设备间的传输需要相比 4G 时代更优的带宽和时延水平,利用 5G 网络的高速率、低时延特 性,电信运营商可以开发基于体验的新型业务模式,为 5G 网络的市场经营和业务发展探索新的机会,探索 5G 时代的杀手级应 用,加快投资回收速度。在这一过程中,运营商凭借拥有的渠道、 资金和技术优势,聚合产业资源,通过Cloud VR 连接电信网络 与 VR 产业链,促进生态各方的共赢发展。

(五) 5G 云VR成为虚拟现实产业生态中的新兴力量

虚拟现实产业链条长,参与主体多,主要分为内容应用、终 端器件、网络平台和内容生产。目前,5G 云 VR 正成为虚拟现 实产业生态中的新兴力量。内容应用方面,聚焦文化娱乐、教育 培训、工业生产、医疗健康和商贸创意领域,呈现出“虚拟现实+”大众与行业应用融合创新的特点。终端器件方面,传统高配置 VR 终端造价高昂,主要涉及一体式与主机式头显整机、追踪定 位与多通道交互等感知交互外设、屏幕、芯片、传感器、镜片等 关键器件,5G云 VR 可有效降低终端配置需求,且维持良好的 用户体验,促进规模化应用。网络平台方面,除互联网厂商主导 的内容聚合与分发平台外,电信运营商以云化架构为引领推出宽 带及 5G云 VR,基于虚拟现实终端无绳化发展趋势,实现业务 内容上云、渲染上云,以期降低优质内容的获取难度和硬件成本, 探索虚拟现实现阶段规模化应用,5G 网络将进一步提升现有云 VR 体验层级,且为工业、医疗等对低延时要求极高的场景提供 可能。内容生产方面,主要涉及面向虚拟现实的操作系统、开发 引擎、SDK、API、拼接缝合软件、全景相机、3D 扫描仪等开发 环境、工具与内容采集系统。

(六) 5G 云VR成为虚拟现实产业政策热点方向

虚拟现实已被列入“十三五”信息化规划、互联网+、人工 智能、产业结构调整指导等多项国家重大文件中,工信部、发改 委、科技部、文化部、商务部出台相关政策,5G 云 VR 正逐渐 成为热点趋势之一。2018年 12 月工信部出台《关于加快推进虚 拟现实产业发展的指导意见》,指出在产业生态方面,要发展端 云协同的虚拟现实网络分发和应用服务聚合平台(Cloud VR), 要推动建立高效、安全的虚拟现实内容与应用支付平台及分发渠 道。在青岛、福州、成都、南昌等地方政府新一轮虚拟现实产业政策中,着重聚焦5G云 VR 的应用场景并积极推动产业化布局。 以青岛崂山区为例,在《虚拟现实产业之都发展三年行动计划(2019-2021 年)》中,聚焦 5G 与虚拟现实产业的融合创新,即 紧抓 5G时代机遇窗口期,以云化架构为引领,突破业界惯有“展 厅级”、“孤岛式”、“小众性”、“雷同化”的应用示范发展瓶颈,坚 持走群众路线,通过 5G云 VR 实现产业级、网联式、规模性、 差异化的应用普及之路。

二、技术趋势

(一) 5G 催化虚拟现实“五横两纵”技术架构持续演进

随着业界对虚拟现实关注程度的不断提高,VR/AR 在支持 应用和企业数量上迎来了新一轮的增长。在技术层面,由于 VR/AR 行业多领域学科交叉融合的技术特性,整体技术轨迹仍 处于螺旋上升的发展期,现有技术日渐成型,新兴技术不断涌现。 云化虚拟现实的出现,将云计算的理念及技术引入到 VR/AR 业 务中,给行业带来了新的发展机遇。然而,受限于当前带宽和网 络时延等网络条件的约束,其落地应用受限较大。考虑到虚拟现 实业务对 eMBB 场景特性的高度契合,5G 云化虚拟现实有望加 速 VR/AR 的技术演进和场景落地,极大改变大众学习、娱乐、 工作与生活方式。

业界对虚拟现实的界定认知由特定终端设备向联通端管云 产业链条的沉浸体验演变。参考国际上自动驾驶汽车智能化程度 分级,将虚拟现实技术发展划分为如下五个阶段,不同发展阶段 对应相应体验层次,目前处于部分沉浸期。此外,由于虚拟现实 所固有的多领域交叉复合的发展特性,多种技术交织混杂,产品 定义处于发展初期,技术轨道尚未完全定型。本白皮书参考工信 部有关虚拟现实发展指导意见以及《虚拟(增强)现实白皮书(2018 年)》中提出的“五横两纵”技术架构,即“五横”指代 近眼显示、感知交互、网络传输、渲染处理与内容制作,“两纵” 是指VR与 AR,同时结合 2019 年5G商用元年的发展动态,提 出 5G 时代下虚拟现实的技术趋势。

4G网络难以实现虚拟现实业务更高程度的视觉沉浸。在云化牵引的网络架构下,不断提升的近眼显示技术对传输带宽提出 了更高要求。若以角分辨率、视场角、色深、刷新率、焦平面作为衡量视觉沉浸感的主要测度,基于其乘数效应估算可得,完全体验等级所须未经压缩的原始带宽可达 5Tbit/s。此外,对于多焦面显示技术,当同时聚焦的焦平面达到八个时,其 4K 显示的承载网络传输带宽需求高达 26.4Gbps。对于全息显示技术,由于LCos-SLM 是对全息编码图像进行加载显示,因此,其承载网络 除须满足 3.3Gbps 传输带宽要求外,还须对待显示图像的光场信 息进行大体量的全息计算,将待显示图像的光场信息上传到云端 进行全息计算,针对4K的屏幕分辨率,所需的上行网络带宽需 要达到 3.3Gbps,针对 120Hz 的显示刷新率,单独全息图的计算 时间需小于 3ms。

内容制作的发展需要 5G 网络支撑。随着终端用户对虚拟现 实内容质量和实时性需求不断提高,内容制作对超高速网络的需 求与日俱增,相关技术包括内容采集方向的实时抠像、全景拍摄, 内容编辑方向的云端三维重建、虚实场景拟合、拼接缝合、空间 计算,内容播放方向的 WebXR。实时抠像主要分为基于绿幕抠 像和基于计算机视觉两个方向。基于绿幕的实时抠像技术是时延 敏感型业务,虽然绿幕抠像技术发展较为成熟,但受限于当前网 络环境,在时延和传输能力上仍需较大提升;而随着神经网络技 术的发展,基于 CNN(卷积神经网络)实现实时抠像的技术正 在兴起,以 Instagram、Snapchat 等移动终端社交软件为代表,通 过对已有的海量图片数据进行标记导入卷积神经网络进行训练,从而研发出可对动态人像进行实时抠图的技术,这种技术需要强大运算能力支持CNN进行训练与分析,考虑到终端设备的局限性,需要将运算放于云端进行,减轻终端算力负担,目前渲染帧率保证在不低于30fps。5G 网络可以为实时抠像提供更高的渲染帧率,有望在今后提升至60fps甚至 90fps。全景拍摄通常通过一体多目式(非光场式)360°全景相机完成,常见的有 2、4、6、8、16 等多种相机组合类型,如Insta 360 Pro、Nokia 的 OZO 等。此外,基于阵列式(光场式)相机的全景拍摄技术可通过上百个镜头组成相机矩阵进行拍摄,生成由两张具有一定视差的左右全景图组合的立体全景图,附带具有深度信息,成像效果令观众更具沉浸感。由于全景拍摄的相机数目较多时,特别是面向全景直播等时延敏感性业务场景,数据计算、传输量会急剧增加。

面对全景拍摄带宽、时延双敏感的业务特点,5G 网络可为全景直播提供传输保障。适配 5G 网络的云端三维重建将采集到的点云信息上传云端,在云端完成点数据的滤波降噪、分割、配准、网格渲染等处理,构建 3D 模型。将三维重建放在云端,可极大减轻终端计算压力,提高三维重建精准度。同时,对云端重建的模型可结合云端神经网络进行深度特征提取、识别、追踪等,用于构建云端三维语义地图等。虚实场景拟合是指在AR系统中需要将虚拟对象与真实场景进行实时匹配,以保证虚拟对象更加逼真融入现实世界。在虚实融合过程中,一是要达到几何一致性,保证虚拟对象符合真实世界物理原则;二是要达到时间一致性,保证交互得到及时反馈;三是要达到光照一致性,在几何与时间一致的前提下,提供实时光照追踪与渲染。针对为几何、时间、 光照一致性提供的 GPU集群,5G 网络有助于承载海量数据实时 传输。高性能拼接缝合对多镜头拍摄的画面进行高精度拼接缝合, 通过亮度色彩调整、对齐、畸变乔正、投影到球面等一系列处理, 形成完整的全景视频。高性能拼接缝合须进行大量计算,通常由 驻留本地的高性能服务器完成。在 5G 网络支持下,高性能拼接 缝合技术可移到边缘云完成,实现高精度画质的全景直播。 WebXR 技术针对目前硬件终端和内容服务商碎片化的发展现状, 旨在推动内容生态加速成形,解决跨平台内容分发问题。2019 年初 W3C 正式发布了WebXR Device API 首个规范工作草案, 提供开发基于 Web 的沉浸式应用程序。WebXR 处于早期阶段, 目前支持的浏览器厂商包括 Mozilla 和 Chrome,受支持的设备 包括兼容 ARCore的设备、Google Daydream、HTC Vive、Magic Leap One、微软 Hololens、Oculus Rift、三星 Gear VR、Windows 混合现实头戴设备等。5G 技术高带宽、低时延的特性,将极大 扩展 Web 端内容呈现能力,推动WebXR技术落地。

移动边缘计算、网络切片与 5G 核心网 QoS 有助于保证虚拟现实不断进阶沉浸体验需求。针对虚拟现实对带宽、时延双敏 感的业务特性,5G网络的发展与商用部署需要做出针对性的优化,适配边缘计算、网络切片、5G QoS、智能运维、拥塞控制等网络传输技术,旨在弥合潜在技术断点,推动用户体验进阶。

其中,边缘计算借助网络边缘设备一定的计算和存储能力,实现云化虚拟现实业务的实时分发,如 VR 视频直播可以全视角流推送到网络边缘,再进行基于单用户视场角的信息分发。MEC 可根据用户接入的位置选择合适的边缘数据中心提供计算服务,将推送内容同步缓存在本地,实现 CDN 的特性。此外,还可通过5GC 能力开放接口获取终端的移动性事件通知,实现 VR/AR 业务的移动性和连续性保障。边缘云作为基础设施提供了渲染所须GPU 资源及平台服务 API,如视频分析、人脸识别、图像特征提取等,以供虚拟现实应用调用,从而降低应用算法复杂度,避免原始数据回传,节省回传带宽。网络切片为AR/VR提供端到端网络资源的保障。Network Slice Orchestration 提供了 NSMF,下方不同领域(例如 SDN,MANO,EMS 等)各有相对应 NSSMF。

NSMF负责管理和编排 NSI (Network Slice Instance) 以及根据网络片相关要求推导网络片子网相关要求。此外,NSMF 包括跨域切片管理器的功能,该管理器负责 NSI 生命周期管理(即预先提供,实例化,配置和激活以及退役),并通过不同领域内的多维协调满足 E2E 要求。 NSMF根据每个技术领域的能力分解成多组要求,将每个需求部分映射到相关技术领域。为保证整体端到端的要求,NSMF 汇总了每个技术领域的网络服务性能,然后执行相应的调整和配置以确保闭环控制。NSSMF 负责 NSSI (Network Slice Subnet Instance) 的管理和协调。NSSMF 包括用于 不同技术域的域片管理器,如接入网络 NSSMF、核心网络NSSMF 以及传输网络 NSSMF 或组合域NSSMF。作为逻辑实体, NSSMF 负责在单个技术或组合域中预先提供实例化、配置、激 活以及退役子网。 NSSMF 确保在每个单个或组合域中实现对分 解的 E2E 需求能力的实时保证。VR/AR 端到端的服务依据不同 领域所需提供的配置与设定,由 NSFM 下发至 NSSMF 并实际到 各领域执行,最终实现端到端的服务满足;不同于 LTE 基于承 载的 QoS 管控,5G QoS 模型基于 QoS 流,5G QoS 模型支持保 障流比特速率(GBR QoS)的 QoS 流和非保障流比特速率(Non-GBR)的 QoS 流,5G QoS 模型还支持反射QoS。在一个 PDU 会话中,QoS 流是可区分 QoS 的最小单位。QoS 流由 QFI 标识。QFI 包含在 N3 的数据包头中。在用户平面,同样QFI的 流得到同样的转发处理(例如排队、许可控制门限)。QoS 流在 PDU 会话建立或修改时建立。5GC 中 SMF负责 QoS 的控制, 建立一条 PDU 会话时,SMF会给 UPF、AN、UE 配置相应的 Qos 参数。对于上行数据,UE 根据 QoS 规则对数据包进行匹配, 数据包从匹配上的 QoS流以及其对应的 AN 通道(对应的 RB) 向上传输;对于下行数据,UPF 根据PDR对数据进行匹配,数 据包从匹配上的 QoS 流以及其对应的 AN 通道下下传输。如果 一个数据包没有匹配上任何一个 QoS 规则(上行)或 PDR(下 行),则该数据包会被 UE 或UPF丢弃。这种基于流的 QoS 机制, 对于 VR/AR 这类实时业务,是实现优化用户体验的基础。

虚拟现实渲染处理对带宽和时延提出了更高要求。渲染处理是虚拟现实领域的关键技术,直接影响内容呈现与用户体验效果。 当前移动式虚拟现实终端硬件性能有限,仅能输出不高于智能手 机图形处理效果的 3D 模型。为提高虚拟现实终端的图形处理能 力以及 3D 图形的显示效果,可利用5G网络及云端渲染优化画 面质量。云渲染旨在帮助用户在中低配头显上实现渲染能力更强 的PC级虚拟现实沉浸体验,降低终端购置成本。对于虚拟现实 这一时延敏感型业务,云渲染引入的新增时延对于用户体验潜在影响较大。此外,3D 应用对于用户指令的响应高度敏感,如进 行虚拟现实游戏时,用户指令须得到及时响应,若稍有时延,容 易引发眩晕感。混合云渲染旨在解决云渲染所引入的新增时延以 及编码压缩造成的画质损失,将渲染处理拆分为云端与本地渲染 协同进行,利用云端强大的渲染与存储能力实现静态画质与视觉 保真度的提升,同时基于本地渲染满足时延控制要求。5G 网络 低时延的特性可有效降低分步渲染产生的新增时延,进一步降低 渲染损失和功耗。由于采用云端渲染处理、终端交互呈现的技术 架构,云渲染、混合云渲染对网络带宽、时延、可靠性提出更高 要求,对当前高汇聚、高收敛承载网络面临更大挑战。深度学习 渲染成为人工智能在图像渲染领域的重要技术创新,可实现图像 降噪、抗锯齿以及因注视点渲染带来的渲染负载减少。深度学习 渲染依赖于云计算庞大计算能力,在中心云完成深度学习渲染训 练,之后将训练集同步到边缘云,并借助 MEC 降低实时渲染时 延,输出超高画质效果。目前,学术界与产业界正在越来越多地 投入深度学习渲染这一新兴热点中。光场渲染是基于图片集进行 影像渲染,在不需要图像深度信息或相关性的条件下,通过对相 机采集到的图像集进行渲染计算。在实时渲染的情况下,光场渲 染比三维模型生成的画面更加真实。光场渲染须存储空间中所有 光线的方向和角度,进而渲染出场景中所有表面的反射和阴影, 更大的数据流契合 5G 网络传输特性。

基于 5G 的端云协同模式触发虚拟现实感知交互能力跃升。 业界主流移动虚拟现实终端可通过基于传感融合的 SLAM 技术 实现环境感知、设备定位和地图三维重构等功能。实时定位技术 日趋成熟,三维重构发展相对缓慢,目前尚难以构建出用于导航、 避障等需求的高精度地图或用于人机互动的语义地图,上述场景 有赖于图像分割、物体识别、高精度表面检测和三维建模领域的 融合创新。基于 5G 网络的环境感知可分为初期和成熟两个阶段, 初级阶段主要解决现有终端侧三维重构的缺失,通过与云端的低 时延通信实时建立并保存地图。成熟阶段须在云端建立完整的语 义地图,各终端能够实时感知自身定位、获取地图信息并完成交 互。具言之,5G 对感知交互能力的提升主要表现在机器视觉、 云端神经网络和云端语义地图三方面。机器视觉基于深度学习的 语义分割开始在识别重建中频繁采用,准确获取图像中的物体类 属及对应的边缘 Mask与 Mesh 信息,成为未来有针对性进行重 建的必要步骤。2019 年 6 月苹果发布ARKit3套件,展示了全新 人体遮挡效果,通过基于机器视觉的实时肢体姿态捕捉,将真实 人体、虚拟场景与真实环境相互融合。目前,此类融合基于本地 完成,随着终端对现实世界理解的不断深入,需要速度更快、算 力更强的神经网络进行识别、分割、跟踪、匹配等复杂任务处理, 基于 5G 的云端处理方式有助于放大机器视觉对环境感知作用, 以更低时延完成实时空间感知与语义标记。云端神经网络可以同 时为多种不同的交互模态提供神经网络运算,如同时处理语音交 互与手势交互。由于云端神经网络借助超大型 CPU 与GPU集群 进行运算,可处理更加复杂的业务,如自然语言识别等。5G 网 络可降低多类自然交互产生的叠加时延,降低运算处理和交互耗 时。同时,基于 5G 云端架构,经过训练的神经网络可以部署到 边缘云,在面对异地多人多端实时交互的虚拟现实系统时,以更 低时延处理大量交互反馈信息。此外,云端神经网络可以与空间 计算相结合,在 5G网络下提供更加贴合物理世界的虚拟信息和 渲染效果,并对交互信息进行分析和预判,提升物理世界中虚拟 信息的交互体验。云端语义地图把获取的点云特征与云端预先准 备好的数据库进行比对,通过具体的语义特征对点云地图进行标 记,达到辅助理解。5G 网络为云端语义地图提供算力更强的云 端大型 GPU 集群及高速带宽网络,基于 5G 云端的语义地图, 能更好的结合神经网络,构建广域地图信息,将物理世界进行数 字重建和标记,同时对 AR 云的搭建提供了极大的技术支持。

(二) 5G 云化虚拟现实技术有望在2-5年内逐步成熟

借鉴 Gartner 技术成熟度曲线呈现形式,分析总结如下与 5G 显著关联的各类虚拟现实技术产业化进程。5G+虚拟现实的技术 创新大多分布于稳步爬升光明期、泡沫化低谷期和过高期望峰值 期,预计在两年内发展成熟的技术以近眼显示、网络传输领域为 主,占比约为三分之一。在二至五年内发展至主流阶段的技术占 比接近一半,集中于在云端进行的面向复杂环境、场景与内容的 渲染计算;有望在5-10年内发展为主流的技术将深入至云端神 经网络计算,为场景和应用提供复杂的空间识别算力、高保真渲染效果及虚实融合的交互能力,进而为5G环境下的虚拟现实内容提供更加优质的用户体验;面向10年以上成熟的技术目前主 要有光场显示和混合渲染,在网络传输能力和云端计算能力发展 到较高程度下,有望为用户提供完全沉浸体验。

在 5G+虚拟现实融合创新方面,受影视行业及机器视觉技术 的快速发展,实时抠像已日趋成熟,5G 云化将加快这一技术落地,预估 2 年内发展至成熟阶段。高性能拼接缝合是时延、带宽双敏感型业务,产业化相对较快,预估在 2 年内发展成熟。云化三维重建借助云计算带来高精度三维重建效果,降低了终端计算负载,目前尚须跨领域技术整合,预计3-5年发展成熟。基于 5G云化的虚实场景拟合有望促使融合效果出现质变,预估 2-5 年发展成熟。一体多目式(非光场式)全景拍摄发展较快,在 5G 网络帮助下设备成本和体积将会向小型轻便发展,发展至成熟预估需要2-3年时间。阵列式(光场式)全景拍摄长期受光学和底层图像处理能力的限制,在 5G 云端 GPU 集群的助力下有望出现显著改观,预估需2-5年时间发展成熟。WebXR 目前仍处于初级阶段,但由于本身基于 Web 技术构建,5G 网络将加快其迭代和落地,2019 年初 WebXR 刚发布API 1.0 版草案,发展成熟仍有 5-10 年时间。依据 3GPP 标准制定进度,5G R15 确定了 5G的基本架构,包括新的空口、非独立(NSA)/独立(SA)组网网络架构、云化核心网、核心网网络切片等基本技术,实现小区下行峰值速率10Gbps、空口时延 1ms 的目标,该标准自2018年底开始在全球逐步建设,边缘计算设备也将随着 5G 网络的建设开始部署,支持 5G 云化虚拟现实应用。而 5G R16 所支持的行业应用技术,包括端到端(包含无线网络)网络切片、高可靠性等技术,将随着标准的完成在未来 2-5 年内逐步部署。5G R17于2019年开始确定研究课题,现阶段的重点为加入人工智能/机器学习的能力,实现网络运维的自动化等功能,因此部署的时间还将更晚。预计从 2025 年开始,5G 将进入B5G/6G 时代,开始B5G 和6G的技术研究和部署。根据诺基亚贝尔实验室的预测,B5G/6G 将利用信息技术、计算技术、大数据和人工智能技术实现网络的完全智能和自动化,并实现下行峰值速率大于 100Gbps的目标。6G 的标准化预计要到2028年以后才能形成,正式商用则预计在 2030 年以后。在传输预处理方面,目前虚拟现实视频编码仍主要使用 HEVC,H.265 已成为主流技术。5G 对视频编码技术提出了更高的要求,下一代视频编码标准 H.266 在 2018年4月正式开始标准化工作,将于 2020 年发布标准,预计于 5-10 年可以成为新的主流技术。混合渲染对云渲染技术有一定依赖性, 属于在云渲染基础上对画质、时延和功耗的优化,发展至成熟仍 需 2-5 年。深度学习渲染须采集大量图形渲染数据进行训练,该 技术在学界和业界仍处于研讨期,短期内难以商用落地,预估成 熟期在 5-10年。作为面向未来的渲染技术,光场渲染的处理、 优化、传输尚处于基础技术研发阶段,预估成熟期在10年以上。 机器视觉需要依赖神经网络提供计算与分析,5G 云化将提供 GPU 和CPU集群,加快训练速度,预期到达技术成熟需 3 至 5 年时间。云端神经网络和云端语义地图,将为物理世界的数字化 构建提供更加精确的建图能力和定位能力,需借助后 5G 时代云 化提供的高算力和高承载能力,预估发展至成熟期需 5 至 10 年。

(三) 5G 助推虚拟现实体验性、功能性与经济性的优化提升

相比本地虚拟现实、4G 云化虚拟现实技术路线,5G 云化虚拟现实技术性能、功能、成本等方面改善显著,可归纳为头动响 应时延(MTP)、渲染能力、显示能力、使用移动性、显示能力 市场规模、成本效率。其中,业界普遍认为头动响应时延(MTP) 应控制在20ms以内,否则容易引起眩晕感。换言之,用户转动 头部改变视角时,终端设备、网络传输、云端计算的整体用时应 确保头动和 FOV画面改变一致,相应新视角所呈现画面的累计 时延不超过 20ms,也不应出现全部或部分视野无画面的情况。 依靠终端的本地处理,由于无须考虑网络时延,领先的设备厂商 如 Oculus 和 HTC Vive 可以做到 20ms内 MTP,但其代价在于牺 牲了移动云 VR 在终端价格、端云协作等方面的潜在价值。在 4G 网络下,通过采用 4G 云+小型 GPU 的方式,将渲染和视觉计算 放在云端进行,降低了终端处理压力的同时,引入了额外的网络 时延,典型的 4G 空口时延在 10ms-28ms之间。在 5G 网络下, 由于高带宽、低时延的网络特性,5G 网络把空口时延降低到 1ms, 通过采用 5G+GPU 云端集群的方式,可将时延控制在10ms以内, 针对高端设备和峰值网络状态,有可能达到 7ms-5ms,即 5G 为 虚拟现实在端云协同与 MTP时延控制间带来了更大的平衡空间; 对于渲染分辨率、帧率所表征的渲染能力,在本地进行的渲染, 受限于终端 GPU计算能力,分辨率仅可达到 2K-4K,帧率在 30fps-60fps。在 4G网络下,通过采用 4G 和云端渲染,渲染能 力平均可以达到 4K 分辨率、90fps 的效果。在5G网络下,有望 将渲染能力进一步提升至 8K 分辨率、120fps 效果,整体画质达到本地处理能力两倍以上;对于角分辨率、刷新率、视场角所表征的近眼显示能力,虽然该类性能指标依赖于光学、屏幕等终端技术,但在虚拟现实端云协同的发展趋势下,相比4G网络,5G 可进一步支持广视场角显示(4G:FOV 100°,5G:FOV 140° 及以上)、高刷新率显示(4G:60Hz-90Hz,5G:120Hz 及以上)、 高分辨率显示(4G:15-20PPD,5G:30PPD 及以上);对于用 户移动性而言,在初步解决了 VR 终端有绳化的问题后,5G 可以解决本地以及 4G 云 VR/AR 所面临的场景受限问题,通过在高速移动场景中保证100Mbps以上的用户体验带宽,将时下各类虚拟现实应用拓展至车载、高铁等高速移动应用场景,保证了全场景的服务能力和必要的业务连续性;对于市场潜力和费效比等经济性因素而言,作为新一代人机交互平台,虚拟现实在单机版阶段的市场发展较为缓慢,应用场景与用户体验受限于本地终端。参考梅特卡夫定律以及2017-2022年全球虚拟现实产业规模,相比孤岛式单机版的发展之路,虚拟现实的市场潜力有赖于虚拟世界潜藏的网络价值,比之4G时代,5G 云化虚拟现实强调用户连接交互深度(沉浸体验)而非连接广度(联网数量)。此外,在本地VR/AR阶段,由于不涉及网络支持,虚拟现实借助网络对单位生产力的贡献较低。据诺基亚贝尔测算,通过4G网络传输及云端 GPU 运算处理,其对生产力贡献的能力约为仅凭借本地终端贡献能力的十倍。在 5G 网络阶段,通过 5G 传输及云端GPU 集群运算处理,其对生产力贡献的能力约为 4G 网络阶段的十倍。

(四) 5G 标准规范演进牵引虚拟现实体验进阶

针对业务需求的实际差异,5G 虚拟现实主要呈现为两类云 化部署形态。随着 5G 网络对大带宽、低时延的支持,将部分渲 染、视频处理的功能转移到云端服务器处理,使得采用云端服务 器和虚拟现实终端的连接成为可能。同时,5G 云化虚拟现实的 实现方式有助于减少终端处理能力要求,降低头显体积与功耗, 且配戴设置更加便捷。目前, 5G 网络上与虚拟现实业务相关的 服务器存在两类云化部署方式,一是将服务器部署在 5G 的核心网络侧的应用服务器上或中央数据中心,二是将其部署在边缘计 算或接入侧数据中心上。两类方案对虚拟现实的影响聚焦于时延 控制,若部署在接入侧数据中心,即意味着更低时延,对时延敏 感型的虚拟现实业务用户体验更好,但对于诸如远程教育等全网 范围的虚拟现实应用,采用中央数据中心成为常规方案。

随着 5G 标准从 R15、R16、R17 向 B5G/6G 不断演进,新 一代移动通信与虚拟现实互相促进,有望实现基于 5G 云化虚拟 现实技术下的深度沉浸乃至完全沉浸的体验需求。从 5G 标准制 定看,业界认为 5G网络演进主要分为三个阶段,即 5G、5G 增 强(包括 R16、R17...)和 B5G(Beyond5G)/6G。从R16开始, 5G 进入 5G 增强阶段,其中,R16 已确定针对企业应用增强(如 工业互联网),提出 5G 私网、达到99.9999%的高可靠性要求, 并实现包括无线网络在内端到端的切片能力,预计 2020 年 3 月 完成标准制定。R17 将支持 52.6 GHz 以上频谱,加入人工智能/ 机器学习的能力,实现网络运维的自动化等功能,预计将于2021年底完成标准制定。预计从 2025 年开始,5G 将进入B5G/6G时 代。根据诺基亚贝尔实验室的预测,B5G/6G 将利用信息技术、 计算技术、大数据和人工智能技术实现网络的完全智能和自动化, 并实现下行峰值速率大于 100Gbps的目标。针对虚拟现实对 5G 网络传输的实际需求,总结如下 5G 云化虚拟现实融合创新技术 发展路径。

三、5G 云化虚拟现实应用场景

(一) 5G 云化虚拟现实+教育

5G云化虚拟现实技术构建异地、多人、多端的全息教学场。 通过传统教育中的“教学练”与全息的“人物场”深度结合,打 破时空限制,营造虚实相融的教学环境,衍生出丰富多元的教学 应用。5G+MR 全息教室是 5G 云化虚拟现实教育的典型场景, 可实现三大功能:一是异地多人加入,异地师生可即时加入课堂, 无人数上限;二是多人同时交互,针对教学环境中的所有内容(包 括人、物、场)进行交互,同步反馈,直观高效;三是多端无缝 衔接,无论当下终端是智能眼镜、手机或 PC,皆可实时连接, 且内容呈现和交互协作无缝衔接。考虑到 MR 混合现实对网络带 宽和时延的双敏感性,5G+MR 全息教室接入高速率、低时延的 5G 网络,并引入边缘计算和切片网络,实现云端渲染,为教学 提供优秀的显示画质和更低的渲染时延。5G 的超大带宽、超低 时延及超强移动性可确保整个全息教学系统的沉浸体验效果。基 于 5G+MR 全息教室的教学系统可改变传统教学模式,通过虚实 结合的全新教学方式辅助课堂教学,营造场景化教学新体验。

伴随 5G 技术的发展,异地多人的教学模式可能成为未来主流。2019 年 6月,首个 5G+MR 教室在上海徐汇中学落成,并通 过 5G 和 MR 混合现实教学系统,顺利与远在云南的红河州云阳 中学实现异地双向同步教学。同时,青岛萃英中学、上海建平中 学等多地重点中学将先后落成 5G+MR 教室,帮助异地师生更好 的交流、探索和学习,用新一代信息技术推动教育公平化进程。

(二) 5G 云化虚拟现实+演唱会

5G云化虚拟现实技术创造演唱会全新视觉体验。5G 云化虚 拟现实技术在演唱会中的应用主要有基于 VR 的高清全景演唱会 直播,以及 MR/AR 形式演唱会。

VR演唱会全景直播:VR 全景直播采用多机位全景视角进 行拍摄,一方面可以提供更多观看角度,另一方面针对单一观看 点提供 360°x 180°全视角效果,极大提升演唱会观看体验。基 于 5G云化的 VR 全景直播技术,凭借 5G 超高带宽、CDN和边缘云 MEC 技术,可更好的满足传输带宽和拼接算力的需求,提 供更具沉浸感的全景直播体验。在演唱会现场,通过全景拍摄设 备(如诺基亚 OZO 全景相机),可从多个拍摄点进行实时全景影 像取景,并通过 5G 网络传输至边缘云。在边缘云上借助高性能 拼接缝合技术对视频流进行处理,将拍摄画面进行拼接和优化, 并实时传输给场内的终端进行现场互动,同时还可通过5G网络 低时延传输给场外的远端用户进行直播互动。5G 可以实现 4K/8K 的VR直播效果,并将平均时延控制在 10ms。对于终端 用户,5G 网络支持观看视点流畅平滑的无缝切换,保证直播时 音画同步。

MR/AR演唱会:借助 5G 网络下端到端网络切片的 SLA/QoS 保障,以及实时虚实场景拟合和高性能拼接技术,MR/AR 全息演唱会可提供强交互、多场景的全息沉浸体验。在5G 网络环境下,通过网络切片和 MEC 技术完成云渲染和虚实场景拟合,现场观众可佩戴 MR/AR 眼镜观看融入全息特效的演唱会,并在歌手、观众、全息数字特效间形成多维互动,营造丰富 的现场效果。

(三) 5G 云化虚拟现实+工业

5G云化虚拟现实技术深度融合物联网技术,推动关键业务 降本增效。借助 5G 网络将云化虚拟现实技术与企业 ERP 系统及 IoT 物联网系统对接,围绕工业中的刚需场景,构建新型智慧工 业,服务于业务更精细化、要求更高的远程协助、实时操作指引、 日常巡检、生产动态展示、员工培训等关键业务。

产品展示: AR 眼镜通过 5G 网络可提供基于云渲染的全息 虚拟产品形态,以及全息的操作内容辅助,极大提高操作人员信 息接收效率,进而提高工作效率。

日常巡检:借助 5G 网络 MEC 功能可对厂区进行三维重建, 构建基于智能眼镜的全息 BIM系统,并可随时调取查看各区域 产线生产信息。5G 云化技术提供的云端语义地图可直接获取设 备实时运转数据,并通过全息信息交互远程操控动态调配产能。

操作指引:借助 5G 云化虚拟现实技术中边缘云 MEC 和中 心云神经网络计算,对操作对象和环境进行实时扫描与智能标记, 提供操作流程 3D 指引,并通过 IoT 提供实时操作反馈。

远程协助:通过 5G 云化虚拟现实技术,将操作环境和对象 在远端专家面前模拟还原。通过双向全息呈像,专家可在模拟的 全息环境中进行操作并将过程同步回传至操作现场,真实还原专家“手把手”协助指导。

(四) 5G 云化虚拟现实+医疗

5G云化虚拟现实技术推动救治模式革新,助力医疗资源公 平化进程。在 5G 网络下,VR/AR 医疗应用时延将降至10ms内, 实现从教学培训和辅助康复延展到时效性更强的救治和诊疗中, 极大拓宽医疗领域应用场景。

远程救治:凭借 5G 超低时延的特性,一线抢救人员可通过 智能终端实时拍摄记录伤员创伤情况,并在第一时间以 VR 直播 形式传回救治中心。远端医生可对创伤进行实时 3D 标注,并发 送救治操作方法给一线抢救人员。由于 5G 时延极低,医院了解 到的患者体征数据与一线同步,保证救治手段及时准确。

智能会诊:通过 5G 云化虚拟现实技术建立的异地多人通讯, 病例与救治方案可以 3D 形式呈现在医生与患者双方/多方面前, 并借助云端神经网络集群,对患者病情走势进行分析和预判,提 供有精准有效的治疗方案。

5G云化虚拟现实技术帮助医疗行业提高救治效率,减少由时延带来的不必要病痛。同时通过多端全息会诊可推动医疗资源公平化和均衡化发展,服务更多偏远地区患者。

(五) 5G 云化虚拟现实+游戏

5G云化虚拟现实技术打造全新互动游戏视觉与交互体验。 5G 连接的云端 GPU 集群将极大提高游戏渲染能力,提升多人互 动游戏的沉浸体验。

VR/AR游戏的实时渲染和媒体处理所需的 GPU 庞大算力将 由 MEC 边缘云完成,就近完成渲染处理和效果下发,最大限度 降低大量图像数据传输造成的时延。VR/AR 终端仅需从 MEC 接 收渲染效果并进行基础解码、处理、呈现,间接减小了对终端体 积和性能的要求。用户可通过更廉价、轻便的终端连接5G网络, 享受互动感和沉浸感兼具的云端游戏。

四、发展建议

把握住虚拟现实技术创新与 5G 带来产业变革的窗口期,发 挥虚拟现实带动效应强的特点,以技术创新为支撑,以应用示范 为突破,以产业融合为主线,丰富虚拟现实商业模式,整合虚拟 现实产业链资源,构筑“5G 云 VR+”融通发展生态圈。

强化 5G 云化虚拟现实技术预研与趋势预判,提高创新资源 利用率。支持电信运营商、终端企业、内容厂商、高校院所在内 的产学研主体联合组建 5G 云 VR 创新中心与实验室,开展针对5G+VR的端到端解决方案研究,打通“端管云”产业链条;围 绕内容上云、渲染上云乃至制作上云等重点融合领域,加大研发 投入,深化知识产权储备,跟踪技术产业化发展进程;坚持规模 应用导向与技术断点弥合的研发思路,提高创新资源利用效率与 产出水平,由传统强调虚拟现实技术层面的创新性和价值点,转 变为更加看重技术产业化的落地价值,推动各类创新要素在产学 研用间的聚焦、流动与增值。

开展 5G 云 VR规模化应用试点,探索可商业落地的解决方案。在 5G 时代与云化架构的引领下,降低优质内容的获取难度和硬件成本,保护虚拟现实内容版权,突破业界惯有“展厅级”、“孤岛式”、“小众性”、“雷同化”的应用示范发展瓶颈,在工业互联网、田园综合体等实体经济特色领域中,深化“虚拟现实+” 行业应用的探索融合,实现产业级、网联式、规模性、差异化的应用普及之路;在文旅、教育、医疗等具备业务变现能力、政府带头示范效应显著、方案相对成熟优良的细分应用领域,落地一 批应用示范,如“5G 云 VR 进小区”等试点工程,发挥龙头带 动作用。

推动 5G 云 VR扶持政策制定。5G 云 VR 扶持政策将打破传 统彼此封闭、烟囱式的产业发展框架,对产业链进行网状重构, 帮助虚拟现实深度导入信息通信产业生态圈。推动 5G 云 VR 扶 持政策制定,鼓励平台生态与产业协作,提高财税政策利用效率, 实现由政策输血向政策造血的转变;为电信运营商与虚拟现实关 键器件厂商、终端企业、内容聚合分发平台、解决方案提供商间 的协同创新提供专项资金支持及公共服务平台,鼓励探索商业模 式、网络架构、内容应用的创新变革,推动单点突破向产业集聚 的转变。

温馨提示:如需原文档,可在PC端登陆未来智库www.vzkoo.com搜索下载本报告。

关注公众号“未来智库”,及时获取最新内容。

(报告来源:诺基亚贝尔股份有限公司、中国信息通信研究院等)