武汉全景制作公司分享:《全景看冬奥》VR科技是如何炼成的?2022-02-22

  北京冬奥会期间,央视网及央视影音APP端推出了《全景看冬奥》VR观赛产品,VR直、点播系统7x24小时不间断运转,为大家带来了全景180度官方视角的冬奥精彩赛事。

  科技的背后有哪些创新?使用了哪些新技术?观看本文,我们来一起“涨姿势”吧。

  2022北京冬奥会赛事期间,技术部署上,采用了央视网自主研发的VR视频生产、转码、传输加密以及VR播放器,以上几项技术在自主研发的基础上均体现了行业先进水平,同时实现同步融入多项自主创新成果 ,极大地改善了新媒体视频用户在高速网络环境下的视觉体验。

  该系统在技术部署上采用了央视网自主研发的VR视频生产、转码、传输加密和VR播放器,以上几项技术在自主研发的基础上均体现了行业先进水平,并且能够同步融入多项自主创新成果。无论是VR视频的清晰度、带宽节省领域,还是VR播放器的视觉体验、交互性,例如数字变焦,方向雷达等,都给用户带来了前所未有的冬奥官网VR视觉盛宴。

  下文从VR直、点播生产转码及播放器等几个方面介绍央视网本届冬奥会VR技术系统的情况。

  一、VR视频直点播节目制作生产

  该模块采用可控的自研技术,既与国际先进技术接轨,又进行了针对性的自主创新。

  1.先进、强大的VR视频贴图技术

  在VR视频编码方面,支持国际上通用的ERP和Fisheye等多种输入格式,并为这几种输入格式分别制定了响应生产策略,360°视频采用EAP(equi-angularpyramid)贴图技术进行转码生产,以保证360°范围内的视角等密度回放,而对于180°的Fisheye,我们采用了自行研发的EAP等角金字塔贴图进行转码及回放。

  常用的VR贴图有ERP、CUBMAP、EAC、TSP、FISHEYE等方式,它们各有其优点。如ERP贴图方式简单,计算快,但是存储所需的空间大,不利于存储和传输。TSP贴图方式对于需要突出正面的VR效果比较好,但存在中心与边沿点明显的分辨率差异。EAC贴图方式对图像边沿清晰度改善效果更优,但是计算复杂度相对ERP等来说要求要高,同时,它对于本届冬奥最大量的180(180°)鱼眼源来说,后半球浪费码率的情况非常突出。如何既提高计算速度,又达到实时直播的转码需求成了我们必须解决的难点。

  在2022北京冬奥会VR的直、点播中,针对源是4K超高清180°的FISHEYE贴图方式,我们采用了自主研发的EAP贴图方式,它结合了TSP和EAC的优点,并融入了自主推导的侧边投影算法,使得VR正投影面相比其它贴图算法,在清晰度上得到了进一步提高。我们通过贴图转换,二次编码,并加入自主极速高清编码优化,使得输出的2K(2880x1440)视频与4K源的清晰度一致,但节约码率一倍以上,实现了仅使用传统码率的一半,即可达到与传统方式一样的清晰度。

  2.灵活、可控的VR视频生产调度系统

  为了满足北京冬奥4K 180°VR视频生产需求,北京即刻生产系统与无锡视频生产系统通力配合,仔细核对生产需求,提供多种生产方案,最终采用由无锡通过专线将VR视频传输到北京生产存储系统,北京即刻系统开发接口接收视频基本信息和编目(编码)信息,最终进入即刻转码能力池进行VR视频转码。为了提升VR视频的转码效率,新增4台高性能转码服务器,VR视频编码采用最新自主研发的EAP贴图方式,为了进一步提高转码速度,以适应大量节目转码制作和直播实时转码需求,我们采用SIMD、预查表等优化方式,并行算法等对贴图计算进行了优化,将VR视频的生产效率提升了7-8倍,完全达到了本届冬奥会大量VR视频的正常制作要求。VR视频生产流程如图1所示:

图1 VR视频生产流程图

  二、VR直播中心及版权保护

  本届冬奥对版权要求非常严格,包含了对播放终端、地域及播放时间三个维度进行版权保护限制。除此之外,为了保证直播流的高可用性,避免单点故障引起的大范围停播事件,我们基于最新建设的分布式直播中心(如图2所示),构建了本届冬奥VR直播调度及版权保护系统。同时采用主、备流接入及调度系统,实现主备流无缝切换,即单路流故障,系统自动切换到备用流,但用户对此无感知。由于本届冬奥对版权的严格控制,我们使用ChinaDRM标准与自主CDRM对视频流版权进行保护,并实现两种模式的动态切换,以加固版权的保护。运营策略上,对视频流采用一对一、一对多的调度,实现同一路流对不同客户的分销策略。采用子矩阵划分来实现业务逻辑清晰划分等。巧妙的设计,使得多余的系统开销可以忽略不计。且支持定时任务,减少运维成本。

  为了保证直播流的高可用性,避免单点故障引起的大范围停播事件,我们基于最新建设的分布式直播中心,构建了本届冬奥VR直播调度及版权保护系统。同时采用主、备流接入及调度系统,实现主备流无缝切换,即单路流故障,系统自动切换到备用流,但用户对此无感知。如图2所示为直播中心示意图。除此之外,本届冬奥对版权要求非常严格,包含了对播放终端、地域及播放时间三个维度进行版权保护限制。我们使用ChinaDRM标准与自主CDRM对视频流版权进行保护,并实现两种模式的动态切换,以加固版权的保护。运营策略上,对视频流采用一对一、一对多的调度,实现同一路流对不同客户的分销策略。采用子矩阵划分来实现业务逻辑清晰划分等。巧妙的设计,使得多余的系统开销可以忽略不计。且支持定时任务,减少运维成本。

图2 直播中心示意图
图3 直播调度管理界面示意图

  三、自主研发的VR播放器

  自主研发的VR播放器用于把VR视频呈现给用户,具有突出的优点,具体表现为:

  1.多种视频格式、多终端、多浏览、直点播同时支持,及多样化的视频信息获取方式

  自主研发的H5-VR播放器,可以适配ERP、CMP、EAC、EAP等多种格式的VR投影视频。页面集成时,可通过特定参数,来确定播放哪种格式的VR视频,满足了多样化的VR视频流播放需求。

  通过适配修改及测试,能支持在PC端的Windows,Mac,Linux以及移动端Android,iOS里的chrome、safari、firefox、edge等主流浏览器下的VR播放,针对微信使用的x5和其它国内广泛使用的浏览器,我们还一一做了专项适配,使得我们的播放器在国内适应和覆盖能力得到了大幅提高。

图4 多终端多浏览器支持示意图

  为提高通用性,降低维护成本,我们的VR播放器自动识别是PC还是移动端,给出相应的呈现;相同的参数,既支持直播的频道id,也支持点播的guid,播放器识别后,请求对应的直播VDN和点播VDN,从而获取对应的直播流和点播流地址。

  视频流地址、标题、播放器预播图片等视频信息,既可以通过参数直接传递,又能从VDN间接获取,满足了多样化的业务需求。

  本届冬奥引入的是4k源,在小屏移动端如果直接观看是体验不到超高清的效果的。为了给用户带来更好的观看体验。我们在传统VR播放器上新增了虚拟手柄和手势操作,可以单指滑动,双指进行虚拟镜头推拉操作,可以任意放大指定区域进行播放。在PC端采用鼠标拖动、滚轮缩放对VR画面进行操作控制。除了这一常规的控制操作方式以外,创新的加入虚拟摇杆设计,单指完成推拉摇移的操作,在PC端也可以用鼠标拖拉虚拟手柄进行类似操作,尤其是在平滑匀速移动观看上比拖动或滑动操作更具优势。4k超高清在移动小屏上得到了更好展现。另外,我们还增加了迷你雷达指示视角的大小和方向,为VR的控制操作带来更为直观的标识,给一进VR就头晕的小伙伴,提供了更好的交互体验。

图5 手指操控示意图

  统一的视频播放内核,使得页面集成时更加方便,只需要通过简单的参数设置,就能使移动端用跟PC端一样的窗口播,或横向铺满屏幕播,还能横向、竖向同时铺满屏幕播。

  在播放器中,我们自主完成了央视网大数据统计接口,对播放数据和播放质量进行了统计、收集及上报,方便对视频质量进行实时监控和调整。

  在研制过程中,我们也遇到了些困难。比如,通用EAP投影拼接视频画面会出现拼接缝,拉伸画面拼接又会造成拼接处画面扭曲变形,通过推导的边缘拼接算法贴图最终实现了消除拼接缝隙,完美实现了EAP投影的VR画面的渲染和回放。

  在VR的实际应用有一部分场景是主要关注正前方一块区域,例如直播间、演唱会、球类比赛等等,因此我们在EAP投影的基础上,通过学习Three.js后搭建金字塔模型,将正方形画面贴在梯形面上,提供了主视角区域的等角度算法,让同样大小的区域内能容纳更多的画面,使得同码率的视频流下我们能让主视角区域拥有更高的清晰度。完美还原画面,实现了自研等角度投影画面的VR播放。

前面说到的本届冬奥采用了VR+DRM系统,加密流到达客户端后需要实时解码,这不但需要快,而且需要抗破解能力特别强。我们采用H5播放器解密WASM内核内验证白名单的机制,避免了JavaScript容易跟踪调试的问题。采用了自研的WASM扁平混淆编译器而不是通用的es编译器对解密和版权保护模块进行编译和加固,使得速度和抗破解能力得到了最佳平衡。大幅提高WASM反编译破解难度的同时,还保证了解密超高清节目的实时性。

  北京冬奥会已经结束,但央视网对技术的探索还在继续,各系统不断优化中,我们未完待续...

免责申明:本网站登载或转载此文出于传递更多信息之目的,并不意味着赞同其观点或证实其描述。文中有图片、视频素材来自互联网或无法核实出处,如涉及版权问题,请联系删除处理。

全景高科是国内拥有十年经验的全景经验,获得多项专利和软著,致力成为国内外一流的VR全景数字营销解决方案服务商。主要为企业、公司机构、校园博物馆、旅游景点,家居房产、虚拟政务大厅、虚拟展厅等行业提供(武汉全景拍摄武汉全景制作武汉全景展示武汉360全景制作武汉三维全景VR全景直播)发布及制作一站式服务。通过VR全景形式让企业快速传播品牌形象,提升知名度及客户信任感,并通过融合全景数字营销转化应用和极具针对性的VR+行业解决方案,更高效的实现客户转化及留存。经过十余年的沉淀积累,已在国内与数千家知名企业机构达成合作关系,深受客户好评。全国免费咨询电话:400-800-9720  合作热线:13871195889  027-82840008 

027-82840008