4K|4K葫芦娃重生:秘密就藏在这里( 四 )


在国际标准H.266/VVC贡献者排行榜上,字节跳动排名第三,仅次于高通和华为 。
作为一家没有参与上一代视频编解码标准开发的互联网公司,字节跳动实现了从标准跟随者到制定者的跨越 。而在新一代视频编解码标准制定过程中,字节跳动发起的100多项技术提案获得H.266/VVC标准采纳,形成一系列原创性技术 。
除了标准化工作的重要贡献之外,火山引擎多媒体实验室团队在H.266/VVC商业化落地方向也做出了积极的贡献 。
早在2019年6月,火山引擎已经完成满足点播场景应用的自研编码器BVC第一个版本,该版本与x265编码器相比,在相同计算资源下,针对大量的1080p高清视频,BVC编码器可以将平均码率下降33% 。之后,BVC经过不断迭代,性能又有大幅提升 。除了自研编码器,自研解码器也已经配套完成,在高端手机上可以做到实时流畅播放高清和超高清视频 。
H.266标准之后,火山引擎对视频编码技术仍在进一步探索,目前侧重的两个方向,一个是基于新兴深度学习的视频压缩(也包括深度学习和传统混合视频编码框架的结合),另外一个是基于传统混合视频编码框架技术的继续挖掘 。尽管还只是刚刚开始,但已经取得了突破性的进展:
基于深度学习的自适应滤波器DAM算法,获取15%以上的性能增益;
基于混合视频编码框架融合多项技术,获得超过13%以上的性能增益 。
其中,自适应滤波器(DAM)算法,主干是基于残差单元堆叠的深度卷积网络,辅以自适应模型选择以最大程度适应特性复杂的自然视频 。所谓残差单元是指通过引入跳层连接,允许网络把注意力放在变化的残差上,这与视频图像帧之间的残差有异曲同工之妙,比如武林高手决斗,“剑光一闪”,每一帧图像绝大部分内容是相同的,闪动的剑光形成残差,这也是视频编码压缩的重点关注对象 。
实验结果显示,相比H.266/VVC最新标准,字节跳动的DAM解决方案能够为视频编码性能带来显著提升,亮度信号Y可实现10.28%的性能增益,两个色度信号U和V,性能增益也分别达到28.22%和27.97%,在视频质量有所优化的同时,至少还可缩小13%的数据体积 。
火山引擎多媒体实验室的各项研究成果,也将通过BVC编码器的升级换代投入应用,包括抖音、西瓜视频、今日头条等 App的视频类内容处理,以及云计算、云游戏等基础架构领域,为用户带来更高清画质、更流畅的视频体验 。
小结
火山引擎定位为字节跳动对外提供技术服务的窗口,从统一的基础服务、技术中台、智能应用和行业解决方案四个方向面对B端提供技术支撑 。在过去九年,字节跳动沉淀了大量增长方法、工具和技术能力,这些能力在火山引擎上有机地组合成为了 60 多款单品,被统称为『智能增长技术』 。如今数字化转型和企业服务行业迅猛发展,火山引擎『智能增长技术』亟需走向市场,接受打磨和考验 。
火山引擎启动大规模修复经典4k中视频,扩大了其音视频能力的应用范围,同时也为推动中国文化遗产保护做出了贡献 。老电影修复是一项与时间赛跑的“抢救工作”,很多珍贵、重要的经典影片遗产再不修复就毁了 。2006年,中国电影资料馆牵头启动“电影档案影片数字化修护工程”项目,率先开始了发现、收集、拯救、保存中国胶片电影的工作,截止目前已经修复了500多部2K以上的国产电影,但要想赢得这场“竞赛”,提升AI技术能力终究是根本解决之道


推荐阅读