腾讯智影免费在线视频剪辑平台渲染引擎技术 _视频剪辑

作者：luckyzhliu

这几年短视频行业的迅速发展，视频内容生产作为内容生态的重要一环。智影是一个集素材搜集、视频剪辑、后期包装、渲染导出和发布于一体的免费在线剪辑平台，能够为用户提供从端到端的一站式视频剪辑及制作服务。智影已接入多个腾讯系内容生态产品，帮助用户提升视频剪辑效率和成片优质率。背后的技术方案是如何实现的呢，一起来看看 TAVMedia 。

背景
这几年短视频行业的迅速发展，视频内容生产作为内容生态的重要一环，逐渐成为内容平台必备基础能力，像手 Q、抖音、快手、视频号等各种内容或社交类产品，都需要音视频编辑能力。除短视频行业之外，AMS 广告对于动态视频需求也愈发强烈，游戏行业对于战报视频也成为刚性需求，比如头部的王者战报、吃鸡战报等等。
但是音视频编辑相关业务复杂度，技术门槛比较高，已成为业务团队最主要的发展瓶颈。从下边的框架图，可以看出视频发布的技术需求非常复杂，最上层用户可以感知的业务能力，比如视频裁剪拼接、音乐或贴纸添加、AI 效果和模板应用等等，而只是冰山浮出水面的一角，要实现这些复杂的视频发布需求，需要设计一个庞大的渲染系统，还要解决大量音视频相关的硬件兼容性问题。

文章插图
迭代与演进
当前团队的主要成员都是最早微视发布器的骨干，深耕视频剪辑这个领域已有 4 年+，已接入腾讯 40 多款业务目前已对外开源的就是团队的产物，视频剪辑方案也经历了 TAVKit、Light SDK 这 2 个历史版本迭代，最终走到了 TAVMedia 。
TAVMedia 是什么
TAVMedia 全平台视频剪辑方案集合了跨平台渲染框架、音视频编解码、PAG 动画工作流、可自定义扩展的滤镜框架、视频生成云服务等能力，新的方案提供了行业领先的动效素材生产工具，动效素材资源商店，有利支撑了业务方海量动效素材需求，当前已为 AMS 模板产量带来了 16 倍的增速，为智影提供了 3500+可复用的素材；TAVMedia 实现了全平台覆盖，包括 Web 端、服务端、移动端、PC 端，并为各端提供了一致性对外接口，除了标准化原子素材格式 PAG，也统一了模板素材、自由剪辑模板的格式，让视频生成服务和特效素材可以在各个业务场景中打通复用。标准化了视频渲染生成服务，为腾讯智影、AMS 等业务服务端渲染效率提升了 3-5 倍，显著降低了服务器成本，在腾讯视频年中运营活动中，实现了仅 1 人天的开发成本就完成了服务对接。
TAVkit
TAVKit 以 Timeline 的轨道结构与渲染链的组织方式来串联了微视内的视频剪辑能力，灵活支持了 AI 特效、PAG 模板、一键出片等需求，2019 年立项开发，带 UI 的版本 TAVCut 获得腾讯 2020 年上半年卓越研发奖，目前已接入了王者荣耀、手 Q、微视、鹅剪等公司内部业务。但由于 TAVKit 诞生自移动端业务，因此只支持 Android、IOS 两端，没有做到跨平台，且同时需要维护 2 套代码。
Light SDK
为了解决视频剪辑方案跨平台的问题，2020 年 Light SDK 应运而生，该方案通过 ECS 系统，灵活组织了这些年积累的 100 多项能力；一套代码应用到移动端、PC 端，减少了代码维护与问题解决的成本；统一了拍摄与视频剪辑方案，该方案比较完美的解决了拍摄上的 AI 能力如何应用到视频剪辑上的问题，只是输入源上一个来自 Camera，一个来自视频画面，当前美摄 SDK、剪映 SDK 都是这种方式，但拍摄与视频剪辑还存在许多差别，简单列举下：