(新手向)能否简单易懂的介绍一下RNN(循环神经网络)

重复贴一下上上个关于Recurrent NNs的回答,对新手比较友好些。主要介绍Recurrent NNs的input、output以及 flow of tensors。
这个回答最好需要你具备一些略微的实际CNN、RNN的代码操作经验,已达到最佳的理解。
Recurrent NNs,一般看的最多的图是这个:
(新手向)能否简单易懂的介绍一下RNN(循环神经网络)

rnn但是这个图对初学者相当不太友好。个人认为,目前所有的关于描述RecurrentNNs的图都画得不好,不够明确,里面的细节丢失了。(事实上里面一个"A"仅仅表示了一层的变换。)
非常清楚,这是很多初学者不能理解RecurrentNNs的根本原因,即在于Recurrent NNs是在time_step上的拓展的这一特性。MLP好理解,CNN也好理解,但Recurrent NNs,就是无法搞清楚里面的拓扑结构,跟MLP联系不上。
先看看,MLP,很好理解,就是一张网络清楚地显示了张量流向。general MLP是这样的拓扑:
(新手向)能否简单易懂的介绍一下RNN(循环神经网络)

mlp然后CNN也好理解,跟MLP无差若干,只是权重运算由 (新手向)能否简单易懂的介绍一下RNN(循环神经网络)
变为 (新手向)能否简单易懂的介绍一下RNN(循环神经网络)
。CNN是这样的拓扑:
(新手向)能否简单易懂的介绍一下RNN(循环神经网络)

CNN 【(新手向)能否简单易懂的介绍一下RNN(循环神经网络)】 但RecurrentNNs的拓扑发生了一个很大的改动,即一个MLP会在time_step这个维度上进行延伸,每个时序都会有input。
所以RecurrentNNs的结构图我认为应该这样画,在理解上才会更清晰些,对比MLP,也一目了然。(自己画的为了简约,只画了4个time-steps )……
(新手向)能否简单易懂的介绍一下RNN(循环神经网络)

ground truth RNN看图。每个时序 (新手向)能否简单易懂的介绍一下RNN(循环神经网络)
的输入 (新手向)能否简单易懂的介绍一下RNN(循环神经网络)
我是一次time_step一张input tensor,隐状态 (新手向)能否简单易懂的介绍一下RNN(循环神经网络)
也就代表了一张MLP的hidden layer的一个cell。输出 (新手向)能否简单易懂的介绍一下RNN(循环神经网络)
理解无异。注意,红色的箭头指向indicates the tensor\u0026#39;s flow at time-sequential order。
再结合一个操作实例说明。如果我有一条长文本,我给句子事先分割好句子,并且进行tokenize, dictionarize,接着再由look up table 查找到embedding,将token由embedding表示,再对应到上图的输入。流程如下:
step1, raw text: 接触LSTM模型不久,简单看了一些相关的论文,还没有动手实现过。然而至今仍然想不通LSTM神经网络究竟是怎么工作的。……step2, tokenize (中文得分词): sentence1: 接触 LSTM 模型 不久 ,简单 看了 一些 相关的 论文 , 还 没有 动手 实现过 。 sentence2: 然而 至今 仍然 想不通 LSTM 神经网络 究竟是 怎么 工作的。 ……step3, dictionarize: sentence1: 1 34 21 98 10 23 9 23 sentence2: 17 12 21 12 8 10 13 79 31 44 9 23 ……step4, padding every sentence to fixed length: sentence1: 1 34 21 98 10 23 9 23 0 0 0 0 0 sentence2: 17 12 21 12 8 10 13 79 31 44 9 23 0 ……step5, mapping token to an embeddings: sentence1:


推荐阅读