江苏龙网

  1. 首页 > 人文 > >

歪比歪比，歪比巴卜，神经网络也该用上加密“通话”了( 三 )


本文插图
作者使用一个广义随机矩阵来拟合keynet ， 它由一个对角矩阵
歪比歪比，歪比巴卜，神经网络也该用上加密“通话”了
本文插图
和一系列置换矩阵的凸组合构成：
歪比歪比，歪比巴卜，神经网络也该用上加密“通话”了
本文插图
其中对角矩阵
歪比歪比，歪比巴卜，神经网络也该用上加密“通话”了
本文插图
可以将干扰噪声通过仿射变换
歪比歪比，歪比巴卜，神经网络也该用上加密“通话”了
本文插图
施加到图像上 ， 而置换矩阵
歪比歪比，歪比巴卜，神经网络也该用上加密“通话”了
本文插图
是一个随机方阵 ， 它的每行和每列都正好有一个元素为1 ， 其他元素为0 ， 它可以对图像执行像素级的随机组合和几何退化操作 。 由于构造的特殊性 ， 广义随机矩阵恰好满足上面提出的五个充分条件 。
下图是广义随机矩阵对图像进行变换的效果 ， 从左到右表示置换矩阵的的随机程度逐渐加大 ， 图像像素值的随机组合效果也越明显 ， 从上到下表示对角矩阵的干扰噪声对图像的影响 ， 两种效应共同作用 ， 使得右下角生成的图像是人类无法理解的 。
歪比歪比，歪比巴卜，神经网络也该用上加密“通话”了
本文插图
2.2 视觉传感器
本文设计的视觉传感器的基础元件是光纤束面板 ， 光纤束面板是由一束多微米直径的光纤捆绑而成 ， 并进行了抛光处理 ， 这些光纤束可以用热塑性材料通过3D打印技术生成 ， 下图展示了实现广义随机矩阵的光学元件设计 ， 透镜首先将场景中的光场聚集到光纤束上 ， 并将其传输到一个备用位置 ， 然后由CMOS传感器进行观察 ， 然后 ， 在像素生成期间 ， 将一系列光纤束实现模拟的广义随机矩阵作用在像素上 ， 实现像素的重新随机组合并加入偏置噪声 ， 最后将像素进行数模转换（ADC）得到最后的测量值 。
歪比歪比，歪比巴卜，神经网络也该用上加密“通话”了
本文插图
3 实验
3.1 keynet必要性实验
作者将人脸识别和目标检测作为目标任务 ， 人脸识别实验使用VGG-16网络 ， 并在VGGFace上进行了预训练 ， 目标检测实验使用在MS-COCO数据集上预训练的Faster R-CNN ， 假设存在一个图像退化函数 ， 然后联合给定的预训练模型进行微调 ， 使用对抗训练方式 ， 一方面使图像退化函数最大限度的降低图像的质量 ， 另一方面将目标任务的损失降到最低 ， 如果这种联合训练的方式可以实现较好的效果 ， 那本文的keynet也就失去了实用意义 。
人脸识别实验
歪比歪比，歪比巴卜，神经网络也该用上加密“通话”了
本文插图
对抗任务的目标是尽可能的使图像退化 ， 这里使用结构相似性（SSIM）指标描述图像退化的程度 ， 实验结果如上图所示 ， 随着图像质量的降低 ， 人脸识别的Rank-1准确率也发生了下降 ， 但是下降幅度为12%左右 。
目标检测实验
上面的实验结果表明 ， 对于人脸识别任务 ， 可以通过这种联合训练的方式得到一个图像退化函数 ， 性能损失也不是很严重 ， 但是人脸识别任务首先需要从图像中将人脸检测出来 ， 所以作者又进行了一个实验来评估是否可以在退化后的图像上检测人脸 ， 检测器使用Faster R-CNN ， 并使用自然场景中的人脸数据进行了训练 ， 在退化后的图像上检测率为0.0% ， 这表明检测器必须针对实际的端到端系统进行训练 。
作者同样将对抗训练引入到目标检测实验中 ， 主要的优化目标是80个物体类别的定位和分类 ， 对抗任务是降低图像的SSIM ， 实验中共考虑了8种退化函数设置 ， 精度下降幅度达到了55%左右 ， 这种精度与退化程度的权衡是无法接受的 ， 因此也证明了这种联合优化方式并不可行 ， 证明了本文keynet的必要性 。


推荐阅读


上一篇：China军事迷|为何仍是全球强国？，俄罗斯GDP只同等于一个广东省

下一篇：军林怀绿|美媒公开全球军力榜单：印度日本进前五韩国超英法排第六