追着幸福跑|为什么深度神经网络这么难训练？| 赠书( 九 )
的对 。 而且 ， 矩阵
在对角线上的值很小 ， 不会超过
。 由于权重矩阵
不是太大 ， 因此每个额外的项会令梯度向量更小 ， 导致梯度消失 。 更普遍的是 ， 在乘积中大量的项会导致梯度不稳定 ， 类似于前面的例子 。 在实践中 ， 往往发现sigmoid神经网络中前面的层的梯度指数级地消失 ， 所以这些层的学习速度就会变得很慢 。 这种减速并非偶然现象 ， 也是由所采用的训练方法决定的 。
深度学习的其他障碍
本章着重研究了深度学习的障碍——梯度消失 ， 以及更常见的梯度不稳定 。 实际上 ， 尽管梯度不稳定是深度学习面临的根本问题 ， 但并非唯一的障碍 。 当前的研究侧重于更好地理解训练深度神经网络时遇到的挑战 ， 这里不会给出详尽的总结 ， 而会列出一些论文 ， 带你一窥当前的研究方向 。
2010年 ， Xavier Glorot和Yoshua Bengio提出 ， 使用sigmoid函数训练深度神经网络会出现问题 。 他们声称sigmoid函数会导致训练早期最终层的激活函数在0附近饱和 ， 进而导致学习缓慢 。 他们也给出了sigmoid函数的一些替代选择 ， 以消除饱和对性能的影响 。
2013年 ， Ilya Sutskever、James Martens、George Dahl和Geoffrey Hinton研究了深度学习使用随机权重初始化和基于动量（momentum）的SGD方法 。 在这两种情形下 ， 好的选择能让深度神经网络的训练效果显著不同 。
以上例子表明 ， “什么使得训练深度神经网络非常困难”这个问题相当复杂 。 本章着重研究了基于梯度的学习算法的不稳定性 。 结果表明 ， 激活函数的选择、权重的初始化 ， 甚至学习算法的实现方式都是影响因素 。 当然 ， 神经网络的架构和其他超参数也很重要 。 因此 ， 有太多因素会影响神经网络的训练难度 ， 理解所有这些因素仍是当前的研究重点 。 尽管这听起来有点悲观 ， 但第6章将介绍的一些方法在一定程度上能解决和规避这些问题 。
赠书活动
想要了解关于深度学习的更多干货知识 ， 关注AI科技大本营并在评论区分享你对本文的学习心得或深度学习的见解 ， 我们将从中选出5条优质评论 ， 各送出《深入浅出神经网络与深度学习》一本 。
推荐阅读
- 奔驰E级|奔驰E级：开始清仓，为什么降到35万还有库存
- 烹饪|为什么大白菜上有“小黑点”？到底能不能吃？为了健康快告诉家人
- 笙笙千离|惠若琪李宇春同框颁奖，春春身高176还自卑，巨人身高收获幸福
- 资讯早知道|9年后再看《步步惊心》，发现若曦无论跟谁都不会幸福
- 弹钢琴|原创吉娜为1岁宠物兔庆生，郎朗弹钢琴助兴，幸福温馨像一家三口
- 人民日报|岳阳君山区：消费扶贫托起贫困户稳稳的幸福
- “全国人大 ”微信公众号|何健忠：以实施民法典提升人民美好生活的“幸福指数”
- 经济日报-中国经济网|【幸福花开新边疆】219国道旁的“脱贫事”
- 新华网|【幸福花开新边疆】奋发学技能 靠己奔小康
- 【渣男】乖乖女为什么会爱渣男，痛苦也不分手？