江苏龙网

  1. 首页 > 生活 > >

怎样理解 End-To-End Memory Networks 的 Memory ?

不请自来，最近在看这方面的论文
个人觉得阅读下面的资料是比较容易理解的
carpedm20/MemN2N-tensorflow tensorflow的代码实现，题主的重点应该在 model .py 的build_memory方法中
Microsoft 作者自己的讲解，大概在5:21左右开始讲Memory如何构造
论文阅读：End-To-End Memory Networks 这篇博文最后也有Memory如何构造的内容
-------------------------------------------------------
以上是自己学习时看的资料，因为没有研究过原始的Memory Network 以及 理解还不够全面深入（最近应该会继续专研）不敢轻易作答，同 等有这方面的深入研究的大牛

■网友
每个memory（Memory的mi）其实就是一个向量，在构建语言模型任务中，就是一个词的embedding。在QA任务（sentences,question,answer）中，是每个sentence的每个向量表示，具体来说，可以是sentence的每个词的词向量相加（一种最简单的选择），用来表示这个sentence。

这些向量共同构成了最终的Memory。
【怎样理解 End-To-End Memory Networks 的 Memory ?】 NLP入门学生，欢迎批评指正。

■网友
谢邀。
这个问题和Position Encoding 是怎么回事？一并吧。
是的，Memory是一个矩阵（an array of objects【1】）
Position Encoding我也没找到原始出处，估计是作者自己临时提出的吧，用于约束时间顺序。
最后，自吹自擂推荐自己的博文 Memory Networks原理及其代码解析
【1】 Weston J, Chopra S, Bordes A. Memory networks. arXiv preprint arXiv:1410.3916, 2014.

■网友
论文中的memory指的是把输入{xi}表示为向量{mi}存入内存， {mi}是一个保存参数的矩阵，即memory。

■网友
感觉是 output memory representation 的那个矩阵


    推荐阅读


    上一篇：哈利波特的电影资源为啥网上这么少?

    下一篇：为啥电视台通过广告活的好好的，但是视频网站都在亏钱