拓扑ECCV 2020 | 从一种拓扑视角来优化神经网络的连通性的解读( 三 ) |视角|连通|

本文插图
实验结果表明：（1）拓扑连通性对网络的优化和最终的性能影响很大；（2）通过设置随机网络的不同值和残差网络的不同值，说明性能和网络的稀疏程度相关；（3）对于完全图，引入额外的边上的权重可以带来Top-1上0.98%的提升；（4）通过添加稀疏约束，网络的性能可以获得进一步的提升，对于添加自适应稀疏约束的完全图可以获得78.6%的Top-1精度；（5）这些反映了神经网络的拓扑连接可以被优化，而且优化得到的结构不亚于手工设计的规则，包括随机、残差等。

本文插图

本文插图
在目标检测上的实验也验证了这种方法具有良好的迁移和泛化能力，结果如表5所示。
7
优化过程的可视化分析
我们分析了稀疏约束对拓扑连接对应的权重的分布影响，并进行了可视化分析。大部分的连接权重被置为零，留下了相对重要的连接。

本文插图
由于网络的参数和拓扑是被联合优化的，为了验证拓扑连接本身的优化有效性，我们在优化过程中采样结构并将拓扑参数固定从头开始训练网络本身的参数。可以看出在训练的初始阶段连接相对稠密，随着训练过程不同要的连接逐渐消失，保留下相对重要的连接，网络的表示能力也是逐渐提升的。

本文插图
8
总结与展望
在这篇工作中我们提出一种可微分的方式优化神经网络的拓扑连接。通过定义的拓扑视角并添加额外的权重将寻找最优的拓扑连接转化为在完全图中寻找最优的子图。优化方式可以和梯度下降很好地适应。通过对拓扑连接的分布添加额外的稀疏约束，重要的连接被保留，提升了拓扑结构的性能和泛化能力。在图像分类和目标检测上的实验也验证了方法的有效性，证明神经网络的拓扑结构可以被优化，优化得到的结构优于手工或先验设计的结构。未来可以尝试对NAS生成的结构进一步优化。
参考文献：
[1]Ahmed, K., Torresani, L. Maskconnect: Connectivitylearning by gradient descent. ECCV 2018.
[2]Liu, H., Simonyan, K., Yang, Y. Darts: Differentiablearchitecture search. ICLR. 2018
[3] Xie, S., Kirillov, A., Girshick, R., He, K.Exploring randomly wired neural networks for image recognition. ICCV 2019
声明：转载此文是出于传递更多信息之目的。若有来源标注错误或侵犯了您的合法权益，请作者持权属证明与本网联系，我们将及时更正、删除，谢谢。邮箱地址：newmedia@xxcb.cn

拓扑ECCV 2020 | 从一种拓扑视角来优化神经网络的连通性的解读( 三 )

推荐阅读

沉思的橘子|瓜迪奥拉再次饮恨欧冠，曼城1-3里昂

蚊子|怀孕期间可以接种流感疫苗吗？

央视|“ETC”被冻结？这类钓鱼网站可不能信！

香蕉烂了一点还可以吃吗

星巴克甜点热量星巴克微风青柠薄荷蛋糕好吃吗

上海政协常委建议：引入青年力量参与“社区微更新”

梅婷|“中戏金花”梅婷：一婚“下嫁”导演鄢颇，二婚嫁曾剑被宠成公主

BBC蛋炒饭教程气坏亚洲网友|BBC蛋炒饭教程气坏亚洲网友被打都没人帮你!

小孩上课注意力不集中怎么解决

[网闻]看到他的出场造型后，过分可爱，易烊千玺参加《快乐大本营》

浅析站在seo优化角度考虑网站导航设计

秦岚|“越瘦越难看”的7位明星：个个皮松肉垮，颜值远不如从前

这首《成都》，不！一！样！

赵丽颖|赵丽颖忙里偷闲包饺子，歪歪扭扭的样子“站不稳”，看着有点丑

军事革命的基本内容包括武器装备,作战方式,编制体制,体制编制的构成是先进的技术和武器装备-

螃蟹不能和哪些食物一起吃？

手写壁纸｜他步步回首，在盛世游走

婴儿辅食西红柿面条怎么做

对抗癌症、疾病和衰老的十大抗衰老食品

朋友相处该咋办