深度神经网络与神经网络的区别

已有的答案说的都有道理, 补充一点吧, 深度网络和传统ANN的区别我个人认为是在于权值的pre-train算法上.由于DNN层数过多, 权值数量爆炸, 网络收敛很慢并且很难找到非常好的一个局部最优解. 但是通过自动编码器或RBM, 我们可以逐层提前训练每一层的权值, 并且只需要使用无标签的样本(亦即无监督训练). 当每一层都pre-train完毕后, 我们可以使用有标签的数量更少的样本进行有监督的梯度下降, 完成tunning.多隐层堆叠的结构早已有之, 所以可以说, 没有这种pre-train算法的存在, DNN就无从谈起.
■网友
首先明显前者是后者的子集……deep顾名思义就是网络的层数多,不过,其实深度学习往往都做了表示学习,所以,你会看到word2vec这种根本不deep的东西也被算作深度学习……不过一般来说,层数多,就是deep的。但是多少层算是多呢,三层,四层,算不算deep?


    推荐阅读