江苏龙网

  1. 首页 > 资讯 > 科技 > >

|Google Meet 背景模糊功能( 二 )


整个分割网络具有关于编码和解码的对称结构 ， 而解码器块（浅绿色） ， 也与编码块（浅蓝色）共享对称层结构 。 具体地说 ， 在编码器和解码器模块中 ， 都采用了应用有全局池化层技术的通道注意力机制 ， 这有利于高效的CPU推理 。

|Google Meet 背景模糊功能
本文插图

采用MobileNetV3编码器（浅蓝色）和对称解码器（浅绿色）的模型架构 。
我们修改MobileNetV3-Small为编码器 ， 经过网络结构搜索的优化 ， 以最低的资源需求 ， 获得最佳的性能 。 为了减少50%的模型尺寸 ， 我们使用Float16量化技术将模型导出到TFLite ， 仅权重精度略有下降 ， 但对质量没有明显的影响 。 得到的模型有193K参数 ， 大小只有400KB 。
效果渲染
分割完成后 ， 我们使用OpenGL着色器进行视频处理和效果渲染 ， 其中的挑战就是在不引入伪影的情况下进行高效渲染 。 在细化阶段 ， 我们采用联合双边滤波器对低分辨率蒙版进行平滑处理

|Google Meet 背景模糊功能
本文插图

渲染效果时会减少瑕疵减少的渲染效果 。 左：联合双边过滤器平滑分段分割蒙版 。 中：可分离滤镜移除背景模糊中的光晕瑕疵 。 右：替换背景中的灯光包裹包装（light wrapping） 。
模糊着色器通过与分割蒙版值成比例的方式 ， 调整每个像素的模糊强度 ， 来模拟波克（bokeh）效果 ， 类似于光学中的混淆圆（CoC） 。 像素按其CoC半径加权 ， 因此前景像素不会渗入背景 。 我们为加权模糊实现了可分离的过滤器 ， 而不是流行的高斯金字塔 ， 因为它去除了人周围的光晕伪影 。 为了提高效率 ， 模糊以低分辨率执行 ， 并以原始分辨率与输入帧混合
|Google Meet 背景模糊功能
本文插图

背景模糊示例
对于背景替换 ， 我们采用了一种称为灯光包裹（Light wrapping）的合成技术 ， 用于混合分割的人物和定制的背景图像 。 光线包裹允许背景光溢出到前景元素上 ， 从而使合成更具沉浸感 ， 这有助于柔化分割边缘 。 当前景和替换的背景之间 ， 存在较大的对比度时 ， 它还有助于最大限度地减少光晕伪影
|Google Meet 背景模糊功能
本文插图

背景替换示例
性能
为了优化不同设备的体验 ， 我们提供多种输入尺寸（即当前版本中的256x144和160x96）的模型变体 ， 根据可用的硬件资源自动选择最佳模型 。
我们在两款常见设备上评估了模型推理和端到端传递的速度：搭载2.2 GHz 6核英特尔酷睿i7的MacBook Pro 2018和搭载英特尔赛扬N3060的宏碁Chromebook 11 。 对于720p的输入 ， MacBook Pro可以以120 FPS的速度 ， 运行较高质量的模型 ， 以70 FPS的速度运行端到端的传递途径；而Chromebook则以62 FPS的速度运行推理 ， 使用较低质量的模型 ， 端到端运行在33 FPS 。
|Google Meet 背景模糊功能
本文插图

高端（MacBook Pro）和低端（Chromebook）笔记本电脑上的模型型号推断速度和端到端管线传递 。
为了定量评估模型的精度 ， 我们采用了目前流行的交集-并集（IOU）和边界F-度量 。 这两种型号都有不俗的表现 ， 而且还是在这样一个轻量级网络的情况下
|Google Meet 背景模糊功能
本文插图

模型准确性的评估 ， 通过 IOU 借条和边界 F-分数来衡量 。
我们还为我们的分割模型发布了随附的模型卡 ， 其中详细介绍了我们的公平性评估 。 我们的评估数据包含来自全球17个地理分区的图像 ， 并附有肤色和性别的注释 。 我们的分析表明 ， 该模型在不同地区、肤色和性别上的表现是一致的 ， 只有很小的IOU指标偏差 。


推荐阅读


上一篇：用户|快票出行定制自由行免费赠畅游金

下一篇：凤凰网|美商务部因法官裁定暂停执行TikTok禁令 司法部上诉