江苏龙网

  1. 首页 > 生活 > >

神经网络算法怎样具有记忆

最简单的 RNN 智能系统：
神经网络算法怎样具有记忆

我用 ## 符号代表神经网络。 x 可以看成是 instantaneous 记忆，它只记得当下的状态。 ## 可以看成是系统的永久记忆，即它的知识。 当然这些知识本身可以在学习过程中改变，但相对於思考／行动而言，## is fixed，所以它是永久记忆。 在这个最简单的系统中没有 episodic memory，即故事记忆，或中程记忆。 要做到这点需要对 x 状态延时 (delay)，否则时间太久的状态痕迹会被遗忘。
神经网络算法怎样具有记忆

【神经网络算法怎样具有记忆】 从「哲学逻辑」的角度看，有这 3 层结构：
状态 (state) 是由命题的集合构成。只有状态才可以有价值 (value / utility)，其单位是 作用量 = 能量 × 时间，这来自强化学习对奖励的积分值。 例如「杀了怪兽 ∧ 救了公主 ∧ 没有死掉」是一个状态。Mental state 分拆成 a set of propositions, 这些 propositions 之间有 permutation symmetry。命题 (proposition)。很多人不知道 proposition logic （命题逻辑）是什么。 所谓「命题」是一个有独立意思的句子，它可以有真假值 (truth value)，例如命题 A =「john loves mary」。 但在命题逻辑中我们不能问「A 是不是和 love 有关？」因为这属於命题内部结构，這是 #3 的结构。 概念 (concept)。 每个 proposition 分拆成 words，this is where Word2vec comes into play.现在的研究基本上忽略了逻辑结构，而直接从自然语言的句子来制造 semantics，我认为是错误的。 正确地认识 state 的逻辑结构才可以设计具有真正智能的 RNN 系统。

■网友
Long short term memoryRNN LSTM


    推荐阅读


    上一篇：悟空租车是一家啥公司

    下一篇： 叶子■绣球花的叶子比较小是怎么回事？