什么是深度学习?

深度学习是机器学习的一个子领域,它采用了一个特定的模型:一族通过某种方式连接起来的简单函数 。由于这类模型的结构是受到人类大脑结构的启发而创造出来的,因此我们通常把它们称为神经网络(neural networks) 。神经网络中的函数链条能够将复杂的概念分解为多个层次的更简单的概念,这就是深度学习的核心思想 。例如,深度学习模型的第一层,可以用来学习如何获取原始数据,并用基本的方式来组织它(如将多个点组合成直线) 。后面每一层都将前面一层组织成更高级、更抽象的概念 。我们把学习这种抽象概念的过程称作表征学习(representation learning) 。
深度学习的神奇之处在于,我们并不需要事先了解中间层的概念具体是什么 。如果选择的模型层次足够多(即深度足够深),并提供足够数量的训练数据,它就能在训练过程中逐步将原始数据组织为越来越高级的概念 。那么训练算法怎么知道应当使用哪些概念呢?它并不需要知道 。它只需要找到能够更好地匹配训练样本的数据组织方式就可以了 。至于生成的表征是不是能够符合人们对数据的印象,那就无法保证了 。图1-9展示了如何将表征学习融入深度学习的流程中 。

什么是深度学习?

文章插图
 
图1-9 深度学习和表征学习
深度学习的这种强大能力是有代价的:深度学习模型需要学习的权重数量非常巨大 。回顾一下前面处理身高-体重数据集的简单模型


    推荐阅读