江苏龙网

  1. 首页 > 资讯 > 科技 > >

「」基于Open WebRTC Toolkit（OWT）的8K全景视频低延时直播系统( 三 )


本文插图

目前的全景视频采用的OMAF协议是基于DASH的实现 。 在这里对DASH和WebRTC进行简单的比较 。 DASH是基于HTTP/TCP的可靠传输 ， 而WebRTC是基于UDP的实时传输 。 DASH通过Segment的方式 ， 通常以多个GOP为最小单元 ， 进行传输 。 而较新的CMAF则是通过更小的Trunk来降低延迟 。 而WebRTC是通过Frame传输 ， 降低了Frame Buffering产生的延时；根据不同的Segment/Trunk配置 ， DASH的延迟在3~60秒 。 WebRTC的延迟基本上在1秒以内 ， 在Cloud Gaming中更是实现了100毫秒~500毫秒以内的延迟；DASH通过多路不同编码质量的流实现Adaptive Bitrate ， 而WebRTC则通过带宽预测调整Bitrate；DASH主要应用于CDN部署 ， WebRTC则服务于实时应用场景 。
基于Open WebRTC Toolkit (OWT) 8K全景视频低延时直播系统
「」基于Open WebRTC Toolkit（OWT）的8K全景视频低延时直播系统
本文插图

基于Open WebRTC Toolkit的8K全景视频低延时直播系统 ， 通过采用英特尔开源的SVT-HEVC进行HEVC Tile编码 ， 降低对网络传输带宽的要求 ， 提高用户感知Resolution；并且结合英特尔5G技术中Edge Server的部署 ， 进一步降低整体的延迟；8K HEVC Tile转码Media Server运行于Intel? Xeon? Platinum processor 。
SVT-HEVC
「」基于Open WebRTC Toolkit（OWT）的8K全景视频低延时直播系统
本文插图

英特尔SVT-HEVC是Open Visual Cloud开源项目中的一部分 ， 目前实时编码可以达到8K 60FPS 。 另外它是一个可扩展的技术方案 ， 针对英特尔至强系列处理器的多核架构进行优化 。 在同一框架下除SVT-HEVC外 ， 还实现了SVT-VP9 ， SVT-AV1以及SVT-AVS3 。 图中是SVT-HEVC和X265编码性能的对比 。
Open WebRTC Toolkit (OWT)
「」基于Open WebRTC Toolkit（OWT）的8K全景视频低延时直播系统
本文插图

Open WebRTC Toolkit是英特尔在Github上开源的流媒体发布平台 。 基于WebRTC技术 ， 并兼容目前主流的HLS ， RTP ， RTMP ， DASH 。 项目主要是分成服务端和客户端两部分 ， 客户端支持所有主流的浏览器 ， 包括Chrome、Firefox 、Edge Browser等；移动端支持Android ， iOS；以及对于Windows和Linux的Native SDK支持 。
服务端具有分布式部署、高可用性等特点 ， 可以实现各种流协议的接入接出 ， 包括音视频的转码 ， 混流和服务端推流的功能 。 基于至强处理器和英特尔Graphics视频编解码的软件和硬件的优化 。
为了增加对360全景视频的支持 ， 扩展了原生WebRTC Stack并加入了HEVC Codec和HEVC Tile的支持 ， 以及HEVC RTP的Packetizer和De-packetizer；第二 ， Media Server对8K的转码进行了优化 。 第三 ， 实现了基于FoV（Field of View）反馈的HEVC Bitstream Rewriter的功能；第四 ， 基于RTC本身实时低延时的传输效果 ， 实施了用户FoV到Server的低延时反馈通道 。 最后整个Server是分布式部署的（Media Server和Edge Server） ， 并且支持Android、iOS、Window等不同客户端 。
Distributed deployment
「」基于Open WebRTC Toolkit（OWT）的8K全景视频低延时直播系统
本文插图

上图是大型体育赛事直播应用场景的部署图 。 在体育场的360全景摄像机 ， 通过5G网络把360全景视频 ， 接入到体育场边缘的Media Server 。 Media Server进行HEVC Tile转码 ， 产生原始分辨率和低分辨率的两路HEVC Tile流 。 两路HEVC Tile流由核心网络传送到各个Edge Server 。 Edge Server根据用户反馈的不同视角 ， 通过Bitstream Rewriter产生Mix Resolution的HEVC Tile流 ， 通过5G网络发送到各个客户端 。


推荐阅读


上一篇：『』全新苹果iPad Pro妙控键盘开售 内置触控板2399元起

下一篇：学妹聊科技@高通为什么开始走下坡路？两大巨头联最终花落谁家！