【人工智能】深度神经网络竟然是模块化的？图聚类算法解密“黑箱子”权重结构( 二 )
类似的 ， 研究人员也采用了这样的方法：
通过将模块的神经元激活设置为0 ， 来研究模块的重要性 ， 并观察网络如何准确地对输入进行分类 。
在这项实验中 ， “损伤”的原子单位是每个模块与每个隐含层的交集 ， 称之为“子模块” 。
重要性 对于每个子模块 ， 将传入组成神经元的所有权重设置为0 ， 并保持网络的其余部分不变 。
然后 ， 确定受损网络的测试集精度 ， 特别是它比整个网络的精度低了多少 。
本文插图
△使用剪枝和dropout在Fashion-MNIST上训练后 ， 不同子模块的绘图 如上图所示 ， 重要的子模块会先标记它的层号 ， 然后再标记模块号 。 横轴表示该层神经元在子模块中的比例 ， 纵轴表示由于子模块受损而导致精度的下降 。
这项实验表明 ， 许多子模块太小 ， 不能算作重要模块 ， 而许多子模块在统计上有显著影响 ， 但在实际中却不显著 。 然而 ， 有些子模块显然对网络的运作具有实质的重要性 。
依赖性 既然已经知道了哪些子模块是重要的 ， 那么最好还能够理解这些重要的子模块是如何相互依赖的 。
为了做到这一点 ， 研究人员在不同的层中破坏两个不同的重要子模块 ， 称之为X和Y 。
本文插图
通过实验 ， 研究人员得到了如下结论：
如果X在Y上不是重要条件 ， 且Y在X上也不是重要条件 ， 那么来自X上的所有信息都传递给了Y 。
如果X不是以Y为重要条件 ， 而Y是以X为重要条件 ， 则X将其所有信息发送给Y ， 并且Y还从其他子模块中接收到了信息 。
如果Y不是以X为条件的重要条件 ， 而是X是以Y为条件的重要条件 ， 则认为Y从X接收其所有信息 ， 然后X将信息发送到其他子模块 。
如果X和Y都是彼此重要的条件 ， 则无法得出任何结论 。
作者介绍
本文插图
△Daniel Filan Daniel Filan ， 加州大学伯克利分校的博士生 。 本科就读于澳大利亚国立大学 ， 学习强化学习理论、数学和理论物理 。
本文插图
△Shlomi Hod Shlomi Hod ， 波士顿大学计算机系博士生 。 感兴趣的领域是 responsible AI ， 尤其是算法和机器学习系统对社会的影响 。
传送门 论文地址：https://arxiv.org/abs/2003.04881
GitHub项目地址：https://github.com/nn-surprisingly-modular-icml-2020/nn_modularity
— 完 —
量子位 QbitAI · ***签约
【【人工智能】深度神经网络竟然是模块化的？图聚类算法解密“黑箱子”权重结构】关注我们 ， 第一时间获知前沿科技动态
推荐阅读
- 2020改变就在眼前，量化派助力多行业人工智能化
- 游深度@痛击玩家心态，一次团灭销毁存档？融合RPG的回合制卡牌Roguelike
- 中新网■土耳其东部发生4.7级地震 震源深度10千米
- 『接风娱乐』人机对战协作新时期已经来临，提高智能化与人工智能技术趋于结合
- 体坛焦点@利物浦是维尔纳的完美下家吗？，深度：从技术特点到战术打法分析
- 游戏谈▲人工智能上线助力疫情！5天时间如何如何完成？
- [人工智能]“智慧大脑”赋能河南制造
- 『促进快递业与制造业深度融合发展意见印发』促进快递业与制造业深度融合发展意见印发
- 『』三星S20 Ultra深度评测；最强安卓机皇，当真没有一点短板？
- 深度思索：多方较大优势，亚澳股市主要市场：行情主要为强势上涨