江苏龙网

  1. 首页 > 资讯 > 科技 > >

「」基于Open WebRTC Toolkit（OWT）的8K全景视频低延时直播系统


「」基于Open WebRTC Toolkit（OWT）的8K全景视频低延时直播系统
本文插图

photo from Ready Player One
随着5G技术的发展 ， 其高带宽、超低延时的特性为高分辨率全景视频的实现带来了更多的可能 。 本文来自Open WebRTC Toolkit (OWT)音视频架构师戴建辉在LiveVideoStackCon2019深圳大会的演讲 ， 详细介绍了如何基于Open WebRTC Toolkit (OWT)方案 ， 结合SVT-HEVC tile-based编码等技术实现低延时的8K全景直播系统 。
文 / 戴建辉
整理 / LiveVideoStack
大家好 ， 我来自英特尔的WebRTC团队 ， 主要负责Open WebRTC Toolkit（OWT）开源项目中音视频相关的工作 。 本次分享的主要内容是基于WebRTC技术实现360全景视频直播的一些探索及实践 。
2018年5G还处于一个商业试点的阶段 。 仅仅1年过去 ， 5G手机就已经得到快速的普及 。 5G技术高带宽及超低延时的特性 ， 为各行各业带来一些颠覆性的变革 。
「」基于Open WebRTC Toolkit（OWT）的8K全景视频低延时直播系统
本文插图

对于视频行业而言 ， 以下几个方向值得关注：首先是360全景视频 ， 也是本次讨论的主题；其次Cloud Gaming（云游戏） ， 是目前高速发展的领域；VR和AR技术；最后 ， Smart City（智慧城市）：包括无人驾驶技术、IoT技术 。
360 Video ingredients
「」基于Open WebRTC Toolkit（OWT）的8K全景视频低延时直播系统
本文插图

从内容采集来讲 ， 首先是360全景摄像头以及360全景图像拼接技术 ， 这方面目前已经有很多成功的公司 。 其次是360 projection, 目前比较通用的是EquiRectangular Projection (ERP)和CubeMap Projection (CMP) 。 行业巨头也纷纷提出各自的映射模型 ， 比如Facebook采用金字塔模型；Google提出的Equi-Angular Cubemap 。
8K UHD Video
「」基于Open WebRTC Toolkit（OWT）的8K全景视频低延时直播系统
本文插图

上图是一个不同分辨率的对比 。 从到4K发展到8K ， 更大的分辨率会带来更广阔的视角、更多的细节以及更丰富的视觉体验 ， 同时也带来对网络传输带宽更高的需求 。
8K HEVC 30FPS视频流码率通常达到100Mbps 。 如此高的网络传输带宽即使对于5G网络 ， 也是不小的压力 。 如果考虑到帧率进一步的提高 ， 到达8K 60FPS；或者8K Stereo 360全景视频 ， 对于网络带宽的需求还会成倍地增长 。
Viewport dependent 360 video streaming
「」基于Open WebRTC Toolkit（OWT）的8K全景视频低延时直播系统
本文插图

根据360全景视频特点 ， 特定时刻的用户视角通常只占据全部图像中一小部分区域 。 如果对全景图像进行8K的网络传输和视频解码 ， 会造成了极大的网络资源和计算资源的浪费 。 并且目前主流的VR设备还不具备8K视频解码能力 ， 甚至4K也只是一些高端设备才能支持 。
VR设备的视角通常在80~120度 。 以90度视角为例 ， 用户在特定时刻可见的画面只占据全景图像的1/8左右 。 因此 ， 仅对用户当前视角之内的图像进行网络传输 ， 在客户端视频解码、渲染 ， 理论上可以节省约70%网络传输带宽 。 即在一个2K的设备上 ， 就可以具有8K全景视频同样的体验 。
Multiple streams coding scheme
「」基于Open WebRTC Toolkit（OWT）的8K全景视频低延时直播系统
本文插图

8K全景视频的编码方式有很多 。 Multiple streams的方式 ， 是将8K原始图像划分成若干个独立区域 ， 对每一片区域分别进行编码 。 客户端只需要根据用户当前视角 ， 选取视角所覆盖区域的多路视频流进行传输 。


推荐阅读


上一篇：『』全新苹果iPad Pro妙控键盘开售 内置触控板2399元起

下一篇：学妹聊科技@高通为什么开始走下坡路？两大巨头联最终花落谁家！