怎样理解神经网络中增加隐藏层数量对网络表现的影响

Efficiency in expressive power。 单隐层你难道不考虑你需要多少neurons?
题主可以去看看COLT 2016 的三四篇相关的文章,都证明存在一些函数,宽网络需要比深网络指数级更多的节点才能逼近。
【怎样理解神经网络中增加隐藏层数量对网络表现的影响】 核心都在于,函数复合比函数线性和 efficient得多。

■网友
忽律我之前不严谨的回答吧,这篇论文说不定会对你有启发:http://www.iro.umontreal.ca/~lisa/bib/pub_subject/language/pointeurs/bengio+lecun-chapter2007.pdfBengio 加 Lecun 可还行?


    推荐阅读