时态图网络：即使很久不发朋友圈，也能知道你的新兴趣( 三 )

为了让这些模块能够影响损失值，我们需要在预测批处理交互之前更新内存。但是，由于内存中已经包含了我们试图预测的信息，因此这会导致内存泄漏。
为了解决这个问题，我们提出的方法是用来自前一个批处理的信息来更新内存，然后再预测交互。下图显示了训练内存相关模块所必需的TGN的操作流程：

本文插图
图示为训练内存相关模块所需的TGN操作流程。我们引入了一个叫做“原始消息存储”（raw message store）的新组件，用于存储模型已经处理过的交互。 raw message store存储了计算消息（我们称之为raw messages）所必须的信息。这样模型就可以将交互时进行的内存更新推迟到后续的批处理。首先，用存储在前一个批处理（1和2）中的原始消息来计算信息，并用此信息来更新内存。然后可以用这一更新过的内存（即图中灰色连线）（3）来计算嵌入。这样就使得内存相关模块的计算能够直接影响损失值（4和5），并且它们会接收到一个梯度。最后，此批处理交互的原始消息被存储在raw message store（6）中，以供后续的批处理使用。
在各种动态图的大量实验研究中， TGN在未来边缘预测和动态节点分类的任务上，无论在精度还是速度上都明显优于竞争方法。
维基百科就是这样一个动态图，其中用户和页面是节点，用户编辑页面就是进行交互。将编辑文本这一交互行为进行编码，就可作为交互特征。在这个例子中，模型的任务就是预测用户在给定时间内会编辑哪个页面。我们用基线方法比较了TGN的不同变式：

本文插图
图示为基于维基百科数据集，在未来链路预测的预测精度和时间方面，比较不同配置的TGN和已有的方法（如TGAT和Jodie）。我们希望更多的论文能够以严谨的方式报告这两个重要数据。
这项消融研究揭示了不同TGN模块的重要性，并帮助我们得出了一些一般性结论：

内存很重要：内存的缺失会导致模型性能的大幅下降。
使用嵌入模块(而不是直接输出内存状态)非常重要，基于图注意的嵌入性能最好。
由于1-hop临近节点的内存能使模型间接访问1-hop临近节点的信息，因此在有内存的情况下，模型仅仅使用一个图注意层就足够了(这样就极大地减少了计算时间) 。

总结。我们认为动态图的学习几乎是一个全新的研究领域，具有许多重要且激动人心的应用价值，对未来的潜在影响也十分深远。我们相信， TGN模型是朝着提高动态图学习能力、巩固和扩展已有的研究成果所迈出的重要一步。随着这一研究领域的发展，更好更大的基准将变得至关重要。
原文链接：
https://towardsdatascience.com/temporal-graph-networks-ab8f327f2efe