其次 ， 研究人员展示了模式化剪枝对深度神经网络精度的提升 。 通过剪枝 ， 深度神经网络将图像的细节「看得」更清了 。 如图6所示 ， 通过不同的可视化方法 ， 经过模式化剪枝的深度神经网络模型对于图像有明显的增强作用 ， 模式化剪枝后的模型能够提取图像中更多的关键特征 ， 并降低图像中的噪声 。
再次 ， 研究人员展示了在不同种类的模式集（Phase1、2、3）下 ， 多种深度神经网络在CIFAR-10与ImageNet训练集上不同程度的精度提升效果 ， 如图7（a）所示 。 我们发现 ， 在绝大多数情况下 ， 当模型加载Phase2（同时也是理论推导得出的模式集）时 ， 深度神经网络的精度提升幅度更大 。 这一现象使研究人员更加确信 ， 基于理论得出的卷积核模式同时也是算法实现层面上对于深度神经网络最佳的卷积核模式 。
图7（b）从另一个角度佐证了这一观点：当拥有不同种类模式集的深度神经网络模型叠加相同剪枝率的连通性剪枝时 ， 拥有Phase2的模型能够保持更高水平的模型精度 。 研究人员在不同的网络结构模型中观察到了同样的现象 。 因此可以证明 ， Phase2模式集拥有更加稳定的精度表现 。
表1进一步展示了模式化剪枝的总体结果 ， 研究人员将最好的剪枝精度与其模式集类型记录在表格中 ， 并与其他研究工作进行系统性对比 ， 结果表明大部分拥有最高精度的剪枝模型是基于Phase2模式集的 ， 这一现象同时体现在不同的数据集与深度神经网络中 。
最后 ， 该研究测试了基于编译器的移动端推理框架对模式化剪枝模型的加速效果 。 实验结果表明 ， 模式化剪枝与编译器的协同优化极大地提高了移动端的推理速度 。 在移动端 ， 研究人员使用了SamsungGalaxyS10智能手机来测试推理速度 。
如图8所示 ， 研究者测试了基于Phase2模式集的稀疏化深度神经网络模型在ImageNet图像上的推理速度与在现有的深度神经网络加速器（TVM、MNN、TensorFlow-Lite）上的速度对比 。
结果表明 ， 该研究提出的模式化剪枝与通用型移动端推理框架在推理速度上远远超过现有的加速器 。 事实上 ， 在每一种网络结构下 ， 该研究提出的方法在移动端都能在没有精度损失的情况下实现实时计算的要求（30frames/second ， 即33ms/second） 。 例如 ， 在大型神经网络VGG-16上 ， 该方法的推理时间仅为15ms 。 这一对于最优的模式化剪枝方法与通用型的移动推理框架的研究使得在移动端对任意神经网络进行实时运算变为可能 。
推荐阅读
-
食材|吃这4类食物必须要焯水，为了家人的健康，再懒也不能省这1步
-
爱豆App|坚持身材管理不能松懈，即使冬天也一样！
-
-
素素娱乐圈|你就会觉得她真的很温婉，干净，俏皮，性感！，看完郑爽的美照
-
无我才能有境界|宋茜为挽回金鹰节被嘲笑浮肿身材，大秀泳装照好身材一目了然
-
娱圈小菡|节目组剪辑好粗心！黄龄睡衣扣子不慎崩开，快速救场仍被镜头捕捉
-
二季度|喜忧参半！美股上市金融科技交成绩单 业绩分化加剧
-
文化|山西五台山、壶口瀑布等国有49家景区工作日期间对全国游客免首道门票
-
解密前端三巨头：HTML、CSS和JavaScript的关系
-
-
-
「拜拜肉」“宅健身”第一弹！川农大体育老师教你3个动作甩掉“拜拜肉”
-
案件侦办|老人超市偷菜被抓后发病，家属索赔近16万！判决结果来了！
-
-
科技人力资源|我国科技人力资源总量居世界第一，未来提升质量是重点
-
-
-
台湾|台湾统派领袖：国民党淡化“一中”幻想“和陆亲美”，有何存在价值
-
扬子晚报|家长让娃高速上背靠背坐车，交警发现后一身冷汗
-
解了个毒|盘点下半年最值得考生购买的手机，上大学选什么手机好？一次买对
