江苏龙网

  1. 首页 > 人文 > >

品品科技 也能知道你的新兴趣，时态图网络：即使很久不发朋友圈( 三 )


文章图片
图示为训练内存相关模块所需的TGN操作流程 。 我们引入了一个叫做“原始消息存储”（rawmessagestore）的新组件 ， 用于存储模型已经处理过的交互 。 rawmessagestore存储了计算消息（我们称之为rawmessages）所必须的信息 。 这样模型就可以将交互时进行的内存更新推迟到后续的批处理 。 首先 ， 用存储在前一个批处理（1和2）中的原始消息来计算信息 ， 并用此信息来更新内存 。 然后可以用这一更新过的内存（即图中灰色连线）（3）来计算嵌入 。 这样就使得内存相关模块的计算能够直接影响损失值（4和5） ， 并且它们会接收到一个梯度 。 最后 ， 此批处理交互的原始消息被存储在rawmessagestore（6）中 ， 以供后续的批处理使用 。
在各种动态图的大量实验研究中 ， TGN在未来边缘预测和动态节点分类的任务上 ， 无论在精度还是速度上都明显优于竞争方法 。
维基百科就是这样一个动态图 ， 其中用户和页面是节点 ， 用户编辑页面就是进行交互 。 将编辑文本这一交互行为进行编码 ， 就可作为交互特征 。 在这个例子中 ， 模型的任务就是预测用户在给定时间内会编辑哪个页面 。 我们用基线方法比较了TGN的不同变式：
品品科技 也能知道你的新兴趣，时态图网络：即使很久不发朋友圈
文章图片
图示为基于维基百科数据集 ， 在未来链路预测的预测精度和时间方面 ， 比较不同配置的TGN和已有的方法（如TGAT和Jodie） 。 我们希望更多的论文能够以严谨的方式报告这两个重要数据 。
这项消融研究揭示了不同TGN模块的重要性 ， 并帮助我们得出了一些一般性结论：
内存很重要：内存的缺失会导致模型性能的大幅下降 。
使用嵌入模块(而不是直接输出内存状态)非常重要 ， 基于图注意的嵌入性能最好 。
由于1-hop临近节点的内存能使模型间接访问1-hop临近节点的信息 ， 因此在有内存的情况下 ， 模型仅仅使用一个图注意层就足够了(这样就极大地减少了计算时间) 。
总结 。 我们认为动态图的学习几乎是一个全新的研究领域 ， 具有许多重要且激动人心的应用价值 ， 对未来的潜在影响也十分深远 。 我们相信 ， TGN模型是朝着提高动态图学习能力、巩固和扩展已有的研究成果所迈出的重要一步 。 随着这一研究领域的发展 ， 更好更大的基准将变得至关重要 。
原文链接：
【品品科技 也能知道你的新兴趣，时态图网络：即使很久不发朋友圈】https://towardsdatascience.com/temporal-graph-networks-ab8f327f2efe
品品科技 也能知道你的新兴趣，时态图网络：即使很久不发朋友圈
文章图片
品品科技 也能知道你的新兴趣，时态图网络：即使很久不发朋友圈
文章图片


推荐阅读


上一篇：南方PLUS 2020广州国际直播产业博览会将于12月举办

下一篇：精选热点资讯 推动C—V2X商用步伐加速，中国信科集团发挥产业桥梁作用