江苏龙网

  1. 首页 > 人文 > >

品品科技 也能知道你的新兴趣，时态图网络：即使很久不发朋友圈( 二 )


消息函数 。 消息函数是内存更新的主要机制 。 给定在t时刻节点i和节点j之间的交互 ， 信息函数计算出两条消息用于更新内存（一条用于节点i ， 另一条用于节点j） 。 这类似于在消息传递图神经网络中计算的消息 ， 这一消息是在交互出现前的t?时刻节点i和节点j的内存、交互出现的时间t、边缘特征这三个变量的函数：
品品科技 也能知道你的新兴趣，时态图网络：即使很久不发朋友圈
文章图片
品品科技 也能知道你的新兴趣，时态图网络：即使很久不发朋友圈
文章图片
内存更新程序 。 内存更新程序的作用是使用新消息更新内存 。 此模块通常使用一个RNN网络来实现 。
品品科技 也能知道你的新兴趣，时态图网络：即使很久不发朋友圈
文章图片
品品科技 也能知道你的新兴趣，时态图网络：即使很久不发朋友圈
文章图片
考虑到节点的内存是一个随时间更新的向量 ， 那么最直接的方法是直接将其作为节点嵌入来使用 。
然而 ， 由于过期问题 ， 这一方法实践起来也有弊端：由于节点只有在参与交互时才会更新其内存 ， 那么节点长时间不活动就会导致其内存过期 。
举个例子 ， 假设一个用户好几个月都没有登录Twitter ， 当他（她）重新登录时 ， 他（她）可能已经在这段时间里发展出了新的兴趣 ， 导致存储着此用户过去活动的内存不再和他（她）现在的兴趣相关 。 因此 ， 我们需要一种更好的方法来计算嵌入 。
嵌入 。 一个解决方案是查找临近的节点 。 为了解决过期问题 ， 嵌入模块通过在与目标节点时空邻近的节点上执行图聚合来计算目标节点的时间嵌入 。
即使一个节点在一段时间内处于非活动状态 ， 但与它临近的一些节点却很可能处于活动状态 ， 因此通过聚合临近节点的内存 ， TGN可以计算出目标节点的最新嵌入 。
在我们所举的例子中 ， 即使用户一段时间不登录Twitter ， 但他的朋友仍然在Twitter上保持活跃 ， 所以当用户重新登录Twitter时 ， 相比用户自己的历史记录 ， 用户的朋友的最近活动可能与其当前兴趣更相关 。
品品科技 也能知道你的新兴趣，时态图网络：即使很久不发朋友圈
文章图片
图嵌入模块通过在与目标节点时间临近的节点上执行聚合来计算目标节点的嵌入 。 在上图中 ， 当在某个时刻t（t大于t?、t?和t? ， 但小于t?）计算节点1的嵌入时 ， 时间临近的节点将只包括在时刻t之前出现的边 。 因此 ， 节点5的边不参与计算 ， 因为它是在时刻t之后才出现 。 然而 ， 嵌入模块是通过聚合临近点2、3和4的特征（v）和内存（s）以及边缘上的特征来计算节点1的表征 。 在我们的实验中 ， 表现最好的图形嵌入模块是图注意力（graphattention） ， 它能够根据临近节点的内存、特征和交互时间来得出哪些是最重要的临近节点 。
如下图所示是TGN对一批训练数据进行的总体计算：
品品科技 也能知道你的新兴趣，时态图网络：即使很久不发朋友圈
文章图片
图示为TGN对一批训练数据进行的计算 。 一方面 ， 嵌入模块使用时间图和节点内存（1）生成嵌入 ， 然后使用嵌入来预测批处理交互作用并计算损失（2 ， 3） 。 另一方面 ， 这些预测出的交互被用来更新内存（4 ， 5） 。
看了上面的图 ， 你可能很好奇内存相关模块（消息函数、消息聚合器和内存更新器）是如何训练的 ， 因为它们似乎不会直接影响损失值 ， 因此也不会接收到梯度 。
为了让这些模块能够影响损失值 ， 我们需要在预测批处理交互之前更新内存 。 但是 ， 由于内存中已经包含了我们试图预测的信息 ， 因此这会导致内存泄漏 。
为了解决这个问题 ， 我们提出的方法是用来自前一个批处理的信息来更新内存 ， 然后再预测交互 。 下图显示了训练内存相关模块所必需的TGN的操作流程：
品品科技 也能知道你的新兴趣，时态图网络：即使很久不发朋友圈


推荐阅读


上一篇：南方PLUS 2020广州国际直播产业博览会将于12月举办

下一篇：精选热点资讯 推动C—V2X商用步伐加速，中国信科集团发挥产业桥梁作用