其次 ， 研究人员展示了模式化剪枝对深度神经网络精度的提升 。 通过剪枝 ， 深度神经网络将图像的细节「看得」更清了 。 如图6所示 ， 通过不同的可视化方法 ， 经过模式化剪枝的深度神经网络模型对于图像有明显的增强作用 ， 模式化剪枝后的模型能够提取图像中更多的关键特征 ， 并降低图像中的噪声 。
再次 ， 研究人员展示了在不同种类的模式集（Phase1、2、3）下 ， 多种深度神经网络在CIFAR-10与ImageNet训练集上不同程度的精度提升效果 ， 如图7（a）所示 。 我们发现 ， 在绝大多数情况下 ， 当模型加载Phase2（同时也是理论推导得出的模式集）时 ， 深度神经网络的精度提升幅度更大 。 这一现象使研究人员更加确信 ， 基于理论得出的卷积核模式同时也是算法实现层面上对于深度神经网络最佳的卷积核模式 。
图7（b）从另一个角度佐证了这一观点：当拥有不同种类模式集的深度神经网络模型叠加相同剪枝率的连通性剪枝时 ， 拥有Phase2的模型能够保持更高水平的模型精度 。 研究人员在不同的网络结构模型中观察到了同样的现象 。 因此可以证明 ， Phase2模式集拥有更加稳定的精度表现 。
表1进一步展示了模式化剪枝的总体结果 ， 研究人员将最好的剪枝精度与其模式集类型记录在表格中 ， 并与其他研究工作进行系统性对比 ， 结果表明大部分拥有最高精度的剪枝模型是基于Phase2模式集的 ， 这一现象同时体现在不同的数据集与深度神经网络中 。
最后 ， 该研究测试了基于编译器的移动端推理框架对模式化剪枝模型的加速效果 。 实验结果表明 ， 模式化剪枝与编译器的协同优化极大地提高了移动端的推理速度 。 在移动端 ， 研究人员使用了SamsungGalaxyS10智能手机来测试推理速度 。
如图8所示 ， 研究者测试了基于Phase2模式集的稀疏化深度神经网络模型在ImageNet图像上的推理速度与在现有的深度神经网络加速器（TVM、MNN、TensorFlow-Lite）上的速度对比 。
结果表明 ， 该研究提出的模式化剪枝与通用型移动端推理框架在推理速度上远远超过现有的加速器 。 事实上 ， 在每一种网络结构下 ， 该研究提出的方法在移动端都能在没有精度损失的情况下实现实时计算的要求（30frames/second ， 即33ms/second） 。 例如 ， 在大型神经网络VGG-16上 ， 该方法的推理时间仅为15ms 。 这一对于最优的模式化剪枝方法与通用型的移动推理框架的研究使得在移动端对任意神经网络进行实时运算变为可能 。
推荐阅读
-
刘德华▲刘德华1999年香港唱片销量全年第一获得全年最高销量歌手大奖
-
阿虎汽车■Jeep指南者2020款上市，全系小马拉大车的美系SUV
-
-
苏-35|无视封海警告！美军率8国战舰“欺上门”，大批苏35飞越头顶反击
-
-
神奇的世界■留下一句“催泪遗言”后不幸离世，90岁老太患新冠后拒用呼吸机
-
国防科大,生活|小伙500天减128斤考上国防科大，网友：梦想的力量
-
客厅摆放什么花最好最招财聚财 客厅摆放什么花最好最招财
-
李小小白|王者荣耀：冲击铠甲改版后为何还是冷门？有没有英雄适合它呢？
-
兼顾轻薄长续航 年末哪些设计感满满的轻薄本值得买？
-
-
-
『央视网』为中小微企业复产纾困解难，各地出台金融措施
-
龙之队球迷：将被扣12分处罚，曾因穿拖鞋开车引热议，恒大悍将涂改机动车号牌
-
-
徐克|“华人神探”李昌钰：为揭央视黑幕戏弄全场，一句话吓懵徐克
-
绣球花|这三种花随手一插就能爆盆，简单浇浇水，开花似花海，花香十几里
-
-
-
何何爱八卦|2020年播出会爆火的4部剧，《斗罗大陆》上榜，你最想看哪一部？，原创
