bp神经网络反向传播时，为啥会出现梯度弥散的情况? CNN里激活函

CNN里激活函数的选择很大程度影响到梯度消失的情况。以sigmoid function为例， $bp神经网络反向传播时，为啥会出现梯度弥散的情况?$
， $bp神经网络反向传播时，为啥会出现梯度弥散的情况?$
把 $bp神经网络反向传播时，为啥会出现梯度弥散的情况?$
映射到了 $bp神经网络反向传播时，为啥会出现梯度弥散的情况?$
的区间内，这个映射是非线性的，越是趋于两极， $bp神经网络反向传播时，为啥会出现梯度弥散的情况?$
的变化对于 $bp神经网络反向传播时，为啥会出现梯度弥散的情况?$
的变化影响越小，于是 $bp神经网络反向传播时，为啥会出现梯度弥散的情况?$
就变得非常小，再经过反向传导的链式法则运算，最后得到的梯度就会变得很小，出现所谓的梯度消失的情况。这个问题可以通过选择激活函数进行改善，比如PReLU 【bp神经网络反向传播时，为啥会出现梯度弥散的情况?】 $bp神经网络反向传播时，为啥会出现梯度弥散的情况?$
。在RNN中，LSTM对于防止梯度消失的作用非常大。在LSTM中你可以选择关闭“遗忘闸门”来避免改变内容，即便打开了“遗忘闸门”，模型也会保持一个新旧值的加权平均。RNN vs LSTM: Vanishing Gradients 这个demo比较了RNN和LSTM梯度消失的情况，很有意思，可以看一下。

bp神经网络反向传播时，为啥会出现梯度弥散的情况?

推荐阅读

上海少见的“纸片楼”，在网络上意外走红，如今每天吸引大量游客

「刘安」翼装女神刘安生前曾担任平面模特！海量写真曝光！美得有层次！

太平洋电脑网太阳轨道飞行器首次通过近日点将近距离捕捉太阳图像

栽培甜瓜种植方法视频栽培甜瓜种植方法

末位评论|曝泰森复出战对手确定！对决另一传奇拳王，9月12日正式上演

都美竹|都美竹和闺蜜闹翻，昔日“站台照”被曝，穿低胸超短裙羞涩站一旁

健康宣传骑士|多和这些原因有关，手部湿疹反复发作

符合条件可申请国家对糖尿病和高血压的专项补贴。糖尿病补助

环球时报|揭露靠抹黑中国“成名”的郑国恩：反华势力的政治傀儡

EA|《战地6》截图泄露新地图竟有火箭发射塔

如何锻炼脸颊肌肉呢

【手艺人】为什么壶内会有一条条划痕，手艺人来告诉你！

「蛋蛋懂车」周口拟建五个停车场！赶快来看看在不在你家附近

「出轨」已婚女扮演“知性女博士”出轨已婚男，迷得对方抛家弃子狂砸20余万

九曲红梅制作工艺

国际连连看|美疾控中心再警告：会播种新冠病毒致感染激增，疫情下暴乱持续

无锡|苏南地下赌场调查追踪：庄家、荷官等50人落网，在逃人员被通缉

G时尚|看看女明星们的的夏日卷发演绎，或大气甜美，或酷飒帅气

芋子汤

十年十二人爱心传递法大学生无偿捐献造血干细胞