深度学习(deep learning)中的几个核心问题

我不懂瞎说~首要问题是突触连接训练的方法。BP算法太慢了,优化的慢网络规模就小。这些年计算能力提高,网络规模增大了一些,使得神经网络效力发挥出来,但还有很大潜力。非监督逐层训练是个不错的想法。如果想加快训练速度的话,最好能更多的利用局部信息训练突触连接,而不是等待一味top-down的全局信息。但目前还是没有领悟突触形成变化的关键原理。第二的话应该是架构吧。层数的增加让网络用有限的神经元表征出了更加复杂的模型,如果加入层内链接,跨层链接,表征能力会更强,当然训练起来更复杂。对于一个特定任务,用多少层,每一层多少神经原最容易得到好的效果,都是等待探索的问题。


    推荐阅读