深度学习基础总结（附完整思维导图）
文章图片
来源：Python与算法社区
本文约957字 ， 建议阅读3分钟 。
本文为读者详细总结了深度学习的基础知识 。
1线型回归
预测气温、预测销售额、预测商品价格等
模型：权重 ， 偏差
模型训练：feed数据学习模型参数值 ， 使得误差尽可能小
训练集、测试集、验证集、样本、标签、特征
损失函数：回归常用平方误差函数；
优化算法：小批量随机梯度下降（每次选一小批样本训练参数） ， 每批样本大小叫做batchsize
学习率：正数
超参数：不是通过训练学出的 ， 如学习率 ， 批量大小
网络输出层只有一个神经元节点
全连接层：输出层中的神经元和输入层中各个输入完全连接
基本要素：模型、训练数据、损失函数和优化算法
2softmax回归
图像分类、垃圾邮件识别、交易诈骗识别、恶意软件识别等
softmax运算符将输出值变换成值为正 ， 且和为1的概率分布
交叉熵损失函数：更适合衡量两个概率分布差异
文章图片
softmax回归是一个单层神经网络 ， 输出个数等于类别个数
3多层神经网络
文章图片
激活函数：一种非线性函数
ReLU函数：只保留正数元素 ， 负数元素清零
sigmoid函数：将元素值变换到0到1
tanh(双曲正切)：元素值变换到-1到1
4模型选择
模型在训练集上更准确时 ， 不代表在测试集上就一定准确
训练误差：训练数据集上表现出的误差；泛化误差：模型在测试集上表现的误差期望
机器学习需要关注降低泛化误差
模型选择：评估若干候选模型的表现并从中选择模型
候选模型可以是有着不同超参数的同类模型
验证集：预留训练和测试集之外的数据；折交叉验证：训练集分成份 ， 共次轮询训练集
欠拟合：模型无法得到较低的训练误差
过拟合：模型的训练误差远小于测试集上的误差
模型复杂度：低 ， 容易欠拟合；高 ， 容易过拟合
数据集大小：训练样本少 ， 尤其少于学习参数数时 ， 容易过拟合；层数多时尽量数据大些
5必知技巧
过拟合解决措施之一：权重衰减 ， 常用L2正则
L2惩罚系数越大 ， 惩罚项在损失函数中比重就越大
丢弃法(dropout)：一定概率丢弃神经元
文章图片
正向传播：沿着输入层到输出层的顺序 ， 依次计算并存储模型的中间变量
反向传播：从输出层到输入层参数调整过程
训练深度学习模型时 ， 正向传播和反向传播间相互依赖
数值稳定性的问题：衰减和爆炸
层数较多时容易暴露 ， 如每层都是一个神经元的30层网络 ， 如果权重参数为0.2 ， 会出现衰减；如果权重参数为2 ， 会出现爆炸
权重参数初始化方法：正态分布的随机初始化；Xavier随机初始化 。
6思维导图
以上1-5节的完整思维导图 ， 制作出来方便大家更好学习：
文章图片
—完—
【深度学习基础总结（附完整思维导图）】想要获得更多数据科学领域相关动态 ， 诚邀关注清华-青岛数据科学研究院官方微信公众平台“数据派THU” 。
推荐阅读
- 海航基础回复上交所：将督促违规担保关联方尽快筹集资金清偿
- 日本132万年轻人不工作不学习:不舍得舒适圈的人只能活得像尘埃
- 家长们要注意！孩子考试成绩出现这种情况，不及时纠正学习就毁了
- 初夏理想穿搭，三木时尚博主玩转白色基础款穿搭，不仅时髦还抢镜
- 别再剁手了，将基础款穿好看才是本事，清新之余元气满满
- 深度科普！基于自体肿瘤浸润淋巴细胞的免疫疗法最新研究进展汇总
- 青训中心集体学习2020年全国青少年体育工作会议领导讲话精神
- 卡莱尔：进攻端我们有很好的基础，防守端我们要继续进步
- 学院党委书记一行深入公共基础部指导返校复学工作
- 山西省侯马市公安局组织党员民警赴彭真纪念馆参观学习