利用隐式约束方法优化,加约束的惩罚项的损失函数,为啥有让神经网络出现\＂dead unit\＂的副作用?
谢邀。
首先英文的本来意思是一个小的 【利用隐式约束方法优化,加约束的惩罚项的损失函数,为啥有让神经网络出现\"dead unit\"的副作用?】
对应的惩罚项会使非凸优化陷入局部最小值。
不是因为非凸优化陷入局部最小值而有一个小的
的惩罚项，因果关系要搞清楚。
第二点，惩罚项是干什么用的？惩罚项背后的原理是奥卡姆剃刀法则。也就是模型越简单越好，不论你用哪种范数，其实正则化的作用就是让损失函数奖励简单的模型，惩罚复杂的模型。
因此当你有一个小参数的时候，就可能有问题，这个参数很小以至于它对惩罚项的贡献太多了，（忽略它可以获得奖励）这个时候我们的模型其实几乎忽略掉了这个参数，这就导致这个参数对应的神经单元没有用了，就是所谓的“dead unit”。实际上其实如果你提高这个参数的权重，损失函数本身的下降可能是增加的。所以我们就陷入了一个局部最优解里。
当然具体问题要具体分析，定性的看，只是有小参数的时候，惩罚项容易让神经网络陷入一个局部最优的状态，这并不是一定会发生的。
■网友
谢邀，这本书优化的部分，不能较真(溜…一是 “非凸函数加惩罚项会更容易收敛到局部极小”。这么说有些道理，但是是不严谨的，因为加了惩罚项是有可能把本来的普通点变成局部最小，但也有可能把本来的局部最小变成普通点。这需要看惩罚项是怎么影响原始的函数的KKT的二是 “非凸函数加惩罚项会收敛到数值小一些的参数”，还是要看惩罚项是什么，小参数是什么意义上来说的。加了惩罚项是去降低模型复杂度的，越复杂的模型越容易过拟合，所以加惩罚项去适当控制参数，我觉的并不一定会收敛到“小参数”。对简单的多项式regression加L2惩罚项应该是可以的，得具体分析三是你说的，虽然调整惩罚项的大小会控制模型训练出来的参数大小，但是还是要去平衡实际表现的，惩罚项太大，模型就废了…既然是deep learning，去实际玩玩儿吧，通过调整网络结构，惩罚项，惩罚项系数等等，去看看是怎么影响最后参数大小的分布的http://playground.tensorflow.org/(手机不能加链接…晚点儿改)
推荐阅读
- 河北承德危险废物综合利用处置率达100%
- 黄金时间■黄金时间丨打造海绵城市：节水从利用雨水开始
- |淮阴水政充分利用“双随机”平台 促进执法公平公正
- 司法所|川姜镇司法所盛赛飞利用父母偏心绝情，赶我出家门
- 计算机技术与科学专业怎样利用高中毕业的暑假
- 非计算机专业想要利用课余时间深入自学C++，想要找到比较体面的工作大概需要啥水平
- 可不可能利用网盘的秒传功能使用伪造的MD5（或其他信息）值进行文件分享
- 报告书|徐州诺恩固体废物处置有限公司废包装桶再生利用建设项目环境影响公示
- 一个利用量子纠缠实现超光速通讯的构想，可行吗
- 女子利用超市自助收银逃单，总额不足300元为何以盗窃罪判刑？