腾讯智影免费在线视频剪辑平台渲染引擎技术( 二 ) _视频剪辑

目前手 Q、微视 android 都已迁移到这种方案，该方案提供了可视化的玩法编辑器，一套玩法可同时应用在拍摄与视频编辑的场景，虽有些资源占用上的瑕疵，但微视与手 Q 这种移动端上的拍摄与后编辑都需要的业务不失为比较好的方案。
TAVMedia
针对 light sdk 里视频编辑和拍摄合并的 ecs 架构导致无法真正对视频编辑进行优化的问题，同时也有不少 web 端与服务端的业务过来咨询视频剪辑的方案，为了真正做到全平台覆盖（支持 Web、小程序和服务端），我们启动了 TAVMedia 。在 TAVCut、Light SDK 这 2 个方案的积累下，TAVMedia 做了如下的优化：

业务中所有轨道数据（图片、视频、特效、滤镜）在 TAVMedia 都有对应的 clip，而非 Light SDK 中的模板数据。
所有渲染结构都支持 CPUGPU 任务分离，充分利用每个渲染间隔，高并发渲染。
渲染节点之间绝大部分由纹理传递方式改为 FrameBuffer 传递方式，减少离屏的次数实现渲染合并。
在扩展性上，业务可自定义的 effect 效果，只需要将其 add 到 TAVMedia 的 Composition 中即可。
更加灵活的预加载策略，在视频、特效、PAG 轨道确定的情况下，预初始化 CPU 资源。

针对 web 端和服务端的应用场景，我们做了如下的优化：

TAVMedia 支持渲染结构实时序列化和反序列化，方便草稿存储、web 端预览与服务器导出间通信。
更加智能的分段导出策略，根据服务器的 CPU 数量，以及导出一段视频所需的线程数量，智能分段导出。
纯净的视频片段（该视频段没有特效滤镜），无需渲染，只需要转码导出，减少渲染耗时。

上诉点的技术细节，在后续的文章中逐一介绍。

文章插图
工作流程
除 SDK 之外，我们还提供了可视化的制作工具，设计师只需要在自己最熟悉的动效制作环境 AE 中，设计完成后一键导出成 PAG，包括原子特效与视频模板，并在桌面端提供了效果一致的预览工具，来查看效果与性能，确认 OK 之后，可一键上传到动池素材商店，当然也可以私藏。各个垂直场景在自己动效产能不够情况下，也可以在动池素材商店下单，内外部设计师接单之后用制作工具设计完成后，再上传到各业务的素材管理后端，通过 TAVMedia SDK 渲染导出成 MP4 。另外这个视频中所用到的 AI 事件比如游戏事件、AMS 广告事件都前置识别，这样有几个优点：