深度学习是否存在过拟合

会。因为你漏掉了最重要的一条:训练数据足够多。训练数据不够多会导致下面两种现象:网络学习到了训练数据中的噪声。网络的复杂度与数据的规模是一对矛盾,你在第一条中说了“网络足够复杂”,那么在训练数据不够的情况下,就会出现过拟合。训练数据与测试数据分布并不一致。在数据不够多时,采样误差就不能忽略了。即使网络并不复杂,它学习到的知识也不能直接迁移到测试数据上去。


    推荐阅读