江苏龙网

  1. 首页 > 生活 > >

深度学习技术发展历史及应用现状怎样( 二 )


约翰·霍普菲尔德(John Hopfield)在1982提出了Hopfield网络，是最早的递归神经网络（Recurrent Neural Network，RNN）。因Hopfield网络实现困难，没有合适的应用场景，86年后逐渐被前向神经网络取代。1990年，出现了Elman\u0026amp;Jordan SRN两种新的RNN网络，同样因为没有合适的应用场景，很快淡出了研究人员视线。Dalle Molle人工智能研究所的主任Jurgen Schmidhuber在论文《THE VANISHING GRADIENT PROBLEM DURING recurrent neural networks and problem solutions》提出了LSTM，促进了循环神经网络的发展，特别是在深度学习广泛应用的今天，RNN（LSTM）在自然语言处理领域，如机器翻译、情感分析、智能对话等，取得了令人惊异的成绩。
深度学习自2006年产生之后就受到科研机构、工业界的高度关注。最初，深度学习的应用主要是在图像和语音领域。从2011年开始，谷歌研究院和微软研究院的研究人员先后将深度学习应用到语音识别，使识别错误率下降了20%-30%。2012年，杰弗里·辛顿的学生IIya Sutskever和Alex Krizhevsky在图片分类比赛ImageNet中，使用深度学习打败了Google团队，深度学习的应用，使得图片识别错误率下降了14%。2012年6月，谷歌首席架构师Jeff Dean和斯坦福大学教授AndrewNg主导著名的GoogleBrain项目，采用16万个CPU来构建一个深层神经网络，并将其应用于图像和语音的识别，最终大获成功。此外，深度学习在搜索领域也获得广泛关注。如今，深度学习已经在图像、语音、自然语言处理、CTR预估、大数据特征提取等方面获得广泛的应用。
参考文献:
周开利, 康耀红. 神经网络模型及其Matlab仿真. 程序设计. 北京: 清华大学出版社, 2005:43.
F. Rosenblatt. Perceptron Simulation Experiments. Proceedings of the Ire, !960, 48(3): 301-309.
孙志军, 薛雷, 许阳明, 王正. 深度学习研究综述. 计算机应用研究, 2012, 29(8):2806-2810.
G. Dahl, D. Yu, L. Deng. Context-dependent pre-trained deep neural networks for large-vocabulary speech recognition. IEEE Transactions on Audio, Speech, and Language Processing, 2012,20(1):30-42.
G. E. Hinton, S. Osindero, Y. W Teh. A Fast Learning Algorithm for Deep Belief Nets. Neural Computation, 2006, 18(7): 1527-1554.
M. Ranzato, Y. Boureau, S. Chopra, and Y. LeCun. A unified energy-based framework for unsupervised learning. Proc. Conference on AI and Statistics (AI-Stats), 2007.
刘建伟, 刘媛, 罗雄麟. 深度学习研究进展. 计算机应用研究, 2014, 31(7):1921-1942.


推荐阅读


上一篇：EndNote或者NoteExpress能否标记某个文章的所有参考文献

下一篇：搭一个网站前端用php 后端用啥语言