算法：性能提升最高120倍！滴滴实习生提出自动结构化减枝压缩算法框架
乾明 编辑整理 量子位 报道 | 公众号 QbitAI 在相同准确率下 ， 实际参数量的压缩 ， 相对之前方法最大可以提高超120倍 。
这就是滴滴实习生提出的自动结构化减枝压缩算法框架带来的性能提升 ， 名为AutoCompress 。
核心在于自动化的去寻找深度模型剪枝中的超参数 ， 去除模型中不同层的参数冗余 。
在CIFAR和ImageNet数据集的大量测试表明 ， AutoCompress的效果显著超过各种神经网络压缩方法与框架 。
这一研究也被AAAI2020接收 。
本文插图
研究人员表示 ， 这一研究能替代人工设计的过程 ， 并实现超高的压缩倍率 ， 满足嵌入式端上运行深度模型的实时性能需求 。
他们是如何实现的？我们下面一一解读 。
自动化设置深度模型剪枝中的超参数 近年来 ， 随着深度神经网络模型性能不断刷新 ， 模型的骨干网络参数量愈发庞大 ， 存储和计算代价不断提高 ， 从而导致难以部署在资源受限的嵌入式平台上 。
深度神经网络模型压缩技术 ， 成为解决这一问题不可或缺的关键 ， 也成为近年来研究热点之一 。
也出现了不少方法 ， 其中之一便是结构化剪枝（structured pruning） ， 能够在平台层面上 ， 解决硬件执行效率低 ， 内存访问效率差 ， 计算平行度不高问题 ， 从而受到了学术界与工业界的重视 。
但它也有“硬伤” ， 在算法实现过程中涉及到到大量的超参数设置 。 比如如何确定模型的压缩维度 ， 或者如何确定模型中每层的压缩比例等等 。
这都需要专家们一点点“掉头发”地去设计指导 ， 而且人工上去设计这些超参数的过程冗长且复杂 。
本文插图
效果也不一定好 ， 毕竟这在很大程度上还依赖于相关人员的参数调节经验 。
然后就有研究人员心思开始活泛起来了 ， 能不能自动设置超参数？如果实现了 ， 将能够大幅度提高算法实现效率 ， 想想都挺让人激动 。
于是就有人开始干起来了 ， 比如MIT、CMU和谷歌的研究学者们提出了一种名为AMC的方法 ， 利用了深度增强学习（Deep Reinforcement Learning （DRL））的方法去决策每层的剪枝比例 。
虽然实现了自动化调参的设想 ， 但也有一些局限性 。
一方面 ， 这个研究只采用了单一的输出通道（filter）剪枝维度；另外一方面 ， 为了得到稀疏化模型 ， 其所采用的剪枝方法仅仅是在模型训练过程中引入一个静态的正则项 。
但更深层次的局限性在于 ， 其所采用的基于DRL框架的剪枝方法 ， 本质上与剪枝问题难以兼容 。 在结果中 ， 最高压缩率只有非结构化（non-structured）的5倍压缩倍率 。
滴滴的研究中 ， 改进了这些不足 ， 提出了一个通用流程（generic flow） ， 专门用于神经网络权重剪枝问题超参数设置自动化过程 。
本文插图
整体上 ， 一共分为4步 。 先是行为抽样（步骤1） ， 然后快速评估（步骤2） ， 接着确定决策（步骤3） ， 最后是剪枝操作（步骤4） 。
基于上述通用流程 ， 并针对之前方法的局限性 ， 通过综合现有的深度神经网络与机器学习框架 ， 他们实现了目前最高效的深度神经网络自动化结构化剪枝的通用框架 ， 并命名AutoCompress 。
实际参数量的压缩 ， 最大能提高120多倍 那AutoCompress是如何工作的呢？论文中提到了三大新的设计：
（1）提出混合型的结构化剪枝维度；（2）采用高效强大的神经网络剪枝算法ADMM（交替乘子优化算法）对训练过程中的正则项进行动态更新；（3）利用了增强型引导启发式搜索的方式进行行为抽样 。
推荐阅读
- 【军武次位面】这款国产火箭炮性能优秀，模块化设计功能丰富，足以让导弹失业
- 「三星」Exynos 990因性能不如骁龙865遭韩版S20弃用 三星员工：感到丢脸
- 「乐居财经」中房股份拟置入忠旺集团100%股权 将以资产置换及发行股份方式购买？，发力提升盈利能力
- 华为■华为P40 Pro冰霜银“神仙图赏”：颜值巅峰＋DxO霸榜＋旗舰性能
- 联发科5G SoC天玑1000系列性能、拍照火力全开
- 电热汇@电热汇分享熔喷布用熔喷加热器性能特点及其耗电量
- 「驱动之家」990因性能不如骁龙865遭韩版S20弃用 三星员工：感到丢脸，Exynos
- 【驱动之家】Exynos 990因性能不如骁龙865遭韩版S20弃用 三星员工：感到丢脸
- 一天1750万单！源头产地全面复苏 1688商人节交易买家数提升500%
- 「83号美系性能控」三排座更豪华，全新Jeep大切诺基首次谍照曝光