江苏龙网

  1. 首页 > 资讯 > 科技 > >

CSDN@5G 时代，优酷推出的帧享究竟是什么？


随着5G落地 ， 用户对视频体验的要求越来越高 。 在带宽不是超高清的主要矛盾之后 ， 超高清还存在哪些挑战？我们距离全面超高清还有多远？阿里文娱一直在相关的技术预研 ， 在2019年底 ， 推出了互联网视频行业超高清解决方案——帧享 。 那么 ， 帧享是什么、有哪些关键技术、未来有哪些发展方向？
且看阿里文娱高级算法专家张行在GMIC Live 2020 智慧文娱技术专场中的相关分享 。
注：文末有福利哦~~
CSDN@5G 时代，优酷推出的帧享究竟是什么？
本文插图

作者 |阿里文娱高级算法专家 张行
责编 | 屠敏
帧享是什么？
帧享是一个超高清的解决方案 ， 从2B到2C的视角 ， 帧享有4个技术能力：
一是高帧率增强 ， 可提供最高120帧的超高帧率视频 ， 顺滑的呈现物体运动场景；
二是超高分辨率 ， 对于画面中微小的细节与结构 ， 在帧享的视频中也能刻画的非常清楚；
三是HDR高动态渲染 ， 画面对比更丰富 ， 颜色鲜活有质感；
四是帧享环绕音效 ， 我们利用声道间的相位差异 ， 充分体现声音的立体感和空间感 。
前三个方向的特性分别体现了帧享对于时间、空间、亮度、色度的超高分辨与呈现能力；第四点是声音特性 ， 声场效果 ， 这四点组合起来 ， 既是帧享能给用户提供的关键体验特性 ， 也涵盖了观众对于超高清的诉求 。
CSDN@5G 时代，优酷推出的帧享究竟是什么？
本文插图

要真正将帧享落地 ， 需要深入到视频制播产业的各个环节中 ， 从左到右有5个关键词：拍摄、制作、生产、传输和呈现 ， 这5个环节环环相扣 ， 每一步都决定了最终视频的呈现质量 。 我们首先要保证每一步都能够正确地处理 ， 尽可能采集和保留更多内容信息；其次是挖掘链路上各环节的处理能力 ， 利用我们在制作、生产和呈现上的人力和算力 ， 进行信息的重建和增强 ， 提升视频体验 。
具体来讲 ， 在拍摄和制作环节 ， 我们会给出明确的超高清视频的要求规范；在制作环节 ， 开放云剪辑能力 ， 为后期的剪辑提质提效；在介质环节 ， 做严格品控 ， 保证介质内容的基础质量 。 在生产环节 ， 减少转码的损失 ， 利用我们平台的计算能力进行恢复和重置增强 ， 同时对视频进行结构化分析 ， 拿到视频的各种分类、场景、标签等高低层的语义信息 ， 将其与码流一起传输到终端设备上 ， 并进行适配的后处理增强和渲染 。 这种适配包括对内容、设备和用户偏好的适配等 ， 确保最终的体验和效果 。
帧享的关键技术：高帧率重置、高动态渲染、云加端增强
1、高帧率重制
从视频中可以明显看出 ， 低帧率的竖线运动时一直在颤动 ， 而高帧率的运动就很平滑 。 为什么低帧率会抖动？
CSDN@5G 时代，优酷推出的帧享究竟是什么？
本文插图

如上图 ， x轴表示时间 ， y轴表示位移 ， 物体的匀速运动在坐标系中是一条斜线 ， 如图中有箭头标记的蓝线 。 而实际的物体位置在这条蓝线之上 。 由于低帧率的刷新率是有限的 ， 物体的实际位置在一帧内是固定的 ， 到下一帧会跳跃到另一个位置 ， 就像上台阶一样 。 人的眼睛会天然的跟踪运动的物体 ， 也会根据当前位置和运动速度 ， 去推测物体的下一个位置 ， 如图中绿星星所标记的 。 我们看到物体的实际位置和物体的预测位置一直不重合 ， 且预测位置一直在实际位置的上下抖动 ， 非常伤害观看体验 。
高帧率重置 ， 在算法上就是插帧 。 插帧技术已经存在很久了 ， 方法大概分成两类 ， 一类是基于特征的传统方法；另一类是基于数据的网络方法 。 两者思路是一致的 ， 根据像素的帧间相关性去推算光流 ， 再做插值 。


推荐阅读


上一篇：『搜狐新闻』麻省理工用“肌肉信号”控制无人机，握紧拳头精准穿过3个小环

下一篇：#互联网圈里人#中国又一社交平台崛起，连微信都无法抗衡，已连续20个季度盈利