江苏龙网

  1. 首页 > 资讯 > 科技 > >

|客观指标VS主观质量：拨开遮挡高清视频技术的迷雾


|客观指标VS主观质量：拨开遮挡高清视频技术的迷雾
本文插图

金山云将在LiveVideoStackCon 2020北京站发布金山云图像视频感知评价指标Kingsoft Cloud Perceptual Assessment（KPA） ， 这也是金山云与香港城市大学王诗淇老师团队共同研发的成果 ， 希望以此帮助行业距离实现“让视频更加高清”的目标更进一步 。
受访讲师
樊鸿飞 ， 金山云高级研发总监 ， 北京大学计算机科学与技术专业博士 ， 负责视频云的VR、视频编码、AI等技术线研发 ， 近年来主要从事沉浸式视频、视频编码、图像处理、计算机视觉方向上的研究与技术落地 ， 主要研究与应用成果发表于国际顶级期刊IEEE TIP、IEEE TCSVT、IEEE TMM等 。
以下内容由LiveVideoStack与樊鸿飞的采访整理而成 。
Q
金山云为何会推出KPA ， 与其他指标相比有何优势？
樊鸿飞：目前能够达到商用级的评价指标非常少 ， 学术界的评价指标主要都是针对有非常明确边界条件约束的场景 。 商用级的评价指标目前除了PSNR和SSIM之外 ， 就是Netflix提出的VMAF了 。
KPA与VMAF的区别在于 ， 一方面VMAF是全参考的IQA/VQA指标 ， 而KPA是一组无参考的IQA/VQA指标 ， 因此KPA也可以应用在全参考来计算DMOS ， 同时KPA除了通用的整体质量评价外 ， 还包括子维度质量、局部质量等细分评价指标 ， 应用范围更广泛；另一方面 ， VMAF针对高清PGC视频有比较强的能力 ， 而KPA主要针对UGC视频 。
Q
在优化（衡量画质的）评价指标的精确度方面 ， 金山云有哪些针对性措施 ， 成效如何（具体数据）？
樊鸿飞：针对现有评价指标算法（尤其是无参考评价算法）精度较低的问题 ， 金山云KPA主要从两个方向进行了重点研究和优化：一个是数据筛选 ， 另一个是模型攻防 。
在数据层面 ， 通过收集各种场景下UGC及PGC视频 ， 并保证至少50以上的专业评测人员对每个视频进行主观评测 ， 从源头上避免数据主观评测波动和精度问题 。
同时 ， 对收集到的数据 ， 从内容、场景、质量等多个维度进行平衡筛选 ， 在确保数据规模远超业界开源数据的基础上 ， 提升数据的多样性 。
在模型层面 ， 通过攻防设计、协同学习、困难样本挖掘等方法 ， 提升模型的鲁棒性和精度 ， 在开源数据上均取得10个点以上的增益 ， 并在UGC场景中SROCC和gMAD分数均超越业界最好的有参考算法VMAF 。
Q
金山云的KPA计算服务是如何避免或减少画质折损的 ， 以及KPA属于主观评测指标吗？
樊鸿飞：KPA的全称是Kingsoft Cloud Perceptual Assessment ， 主要是希望用客观指标来衡量人眼的主观感受 。 金山云KPA可以有效应用于编码及AI方向 ， 避免或减少画质损失 ， 提升视频或图像主观质量.
在编码方向 ， 通过KPA对视频进行场景级、帧级等全局质量预测分析 ， 块级局部质量预测分析 ， 结合JND模型作为其最小可察觉主观失真衡量 ， 并由此自动决策出编码所需要的CRF、QP等参数 ， 能更好地匹配人类视觉主观系统 ， 消除视觉感知冗余 ， 在保证主观质量相同的情况下降低码率或者在相同码率下提升主观质量；
在AI增强方向 ， 通过将KPA的全局/局部/子维度评价作为不同侧重点的loss或者判别器加入到模型训练中 ， 指导模型朝更好的画质方向进行优化 ， 进一步提升主观画质 。
Q
金山云给出的画质评测方案的主要应用场景是什么 ， 亮点有哪些？
樊鸿飞：金山云通过魔镜平台来提供高效易用的图像/视频评测服务 ， 不仅提升评测效率 ， 也保证评测的准确性和科学性 。 整个方案包括数据筛选、评测维度制定、评测质量保证以及评测结果分析 。
与此同时 ， 金山云魔镜平台目前还提供了多个开源的客观指标评测 。 金山云魔镜平台主要可以用于三种应用场景：内部算法迭代、用户实际观看体验评估和竞品分析对比 。


推荐阅读


上一篇：读芯术|单页应用程序中智能DevOps的5种策略

下一篇：环球网|西安航空基地：“Flying day”航空体验官活动圆满收官