神经网络中残差本质是啥
The “errors” which we propagate backwards through the network can be thought of as “sensitivities” of each unit with respect to perturbations of the bias.
被认为是反传过程中对于对应神经元的偏差b的变化的灵敏度。这是基于bias的残差，论文上看的。参考论文：Notes on Convolutional Neural Networks在Ufdl教程中可以看到，残差其实是对z的偏导数。对于一个神经元，它和上一层的很多神经元相连接，这些神经元的输出经过一个加权，然后相加的结果就是Z，也就是说这z是神经元的真正输入，残差表示的就是最终的代价函数对网络中的一个个神经元输入的偏导。残差体现的是对于代价的贡献的敏感程度，对于一个大的残差，稍微给点输入，就不行了，导致最后的lost很大。z又是关于权重w的函数，所以，按照链式法则可以传递到w对代价函数的贡献敏感度上。
■网友
【神经网络中残差本质是啥】 从现象来看，就是代价函数对没有经过激励的运算结果值的偏导。本质上也可以看成是每一层运算结果值（没有激励）对误差的贡献。
■网友
有一个运筹学的分支理论叫做凸优化，里面有个方法叫做梯度下降，就是这么来的
■网友
强行理解为某个单元节点对最终误差的影响。
感觉就是强加定义的一个东西，为了递推公式的书写简便，在给换元的前一项定义一个名称
推荐阅读
- 咋看待现在的互联网论坛
- 神经网络算法是否真的属于人工智能范畴
- 罗女士|
- 谷歌翻译的「整合神经网络」有多强
- 现代社会的进步本质是啥
- 做网络主播算不算一件丢人的事情
- 民生二维码收银台的原理（本质）是啥
- 时尚芭莎|以无界越潮流，用时尚本质诠释东方魅力
- 机器人与宠物的区别
- 为啥说“小米是手机公司，本质上却是互联网公司”