江苏龙网

  1. 首页 > 资讯 > 科技 > >

技术编程,AI人工智能|性能超越图神经网络，将标签传递和简单模型结合实现SOTA( 二 )


尽管如此 ， 本文发现即使是简单的标签传播（忽略了特征）在许多基准测试中都表现得出奇地好 。这就为组合两个预测能力的正交提供了动力 ， 一个来自节点特征（忽略图结构） ， 另一个来自直接在预测中使用已知标签 。
最近的研究将GNN与标签传播以及马尔可夫随机场联系起来 ， 并且一些技术在特征中使用了标签信息 。然而 ， 这些方法的训练成本仍然很高 ， 而本文是以两种可理解的低成本方式使用标签传播 。本文从一个忽略了图结构的模型的“基础预测”开始 。之后 ， 使用标签传播进行误差修正 ， 然后平滑最终预测 。这些后处理步骤基于这样一个事实 ， 即连接节点上的错误和标签是正相关的 。
【技术编程,AI人工智能|性能超越图神经网络，将标签传递和简单模型结合实现SOTA】总的来说 ， 本文的方法表明 ， 结合几个简单的思想 ， 在传导节点分类中 ， 无论是在模型大小还是在训练时间方面 ， 成本都只占一小部分 。例如 ， 在OGB产品基准测试中 ， 我们用少于两个数量级的参数和训练时间 ， 超过了目前最著名的GNN方法 。
然而 ， 本文的目标并不是说当前的图学习方法很差或不合适 。相反 ， 本文的目标是强调在图学习中提高预测性能的更简单的方法 ， 这样可以更好地理解性能增加的缘由 。本文的主要发现是在学习算法中更直接地加入标签是非常关键的 。通过将我们的想法与现有的GNN相结合 ， 我们也看到了一些提升 ， 尽管这些提升是微不足道的 。但作者希望本文的方法能为其他的图学习任务 ， 如归纳节点分类、链接预测和图预测提供一些思路 。
方法
我们的方法从一个简单的基于节点特征的基础预测器开始 ， 这个预测器不依赖于图的任何学习 。之后 ， 我们执行两种类型的标签传播（LP）：一种是通过建模相关误差来修正基础的预测 ， 另一种是平滑最终的预测结果 。我们称这两种方法的组合是校正和平滑（C&S；图1） 。LP（Label Propagation, 标签传递）只是一个后处理的步骤 ， 本文的算法pipeline不是一个端到端的训练 。此外 ， 该图仅用于这些后处理步骤和增强特征的前处理步骤 。而一般的基础预测方式不是这样的 。与标准GNN模型相比 ， 这使得训练变得更快且可扩展 。此外 ， 我们利用了LP（在没有特性的情况下 ， 它本身的性能往往相当好）和节点特征 。我们将看到 ， 将这些补充的信息结合起来会产生很好的预测 。
首先 ， 我们使用一个不依赖于图结构的简单的基础预测器 。这个预测器可以是线性的模型或者一个浅的多层感知器 ， 接下来 ， 我们通过合并标签来关联修正错误 ， 从而提高基础预测器的精度 。为了最终的预测 ， 出于图中的相邻节点可能具有相似标签的考虑 ， 作者进一步平滑了修正后的预测值 。回顾整个处理的流程 ， 就是从简单的基础预测Z开始 ， 只使用节点特征 ， 而不是图结构 。然后 ， 通过在训练数据上传递已知误差来估计误差 ， 得到误差修正后的预测Z（r）=Z+^E 。最后 ， 作者将这些作为未标记节点上的得分向量 ， 通过另一个LP步骤将其与已知标签相结合 ， 得到平滑的最终预测 。这就是Correct and Smooth(C&S)方法 。
实验
为了证明本文方法的有效性 ， 我们使用了九个数据集（表1） 。Arxiv和Products数据集来自开放图基准数据集；Cora、Citeseer和Pubmed是三个经典的引文网络基准数据集；wikiCS是一个网络图 。在这些数据集中 ， 类标签是论文、产品或页面的种类 ， 而特征是从文本派生出来的 。本文还使用Rice 大学的Facebook社交网络 ， 其中类标签是宿舍 ， 特征是性别、专业和班级年份等属性 ， 以及美国的地理数据集 ， 类标签是2016年选举结果 ， 特征是人口统计 。最后 ， 我们使用了一个欧洲研究机构的电子邮件数据集 ， 其中的类标签是部门成员 ， 没有特征 。
技术编程,AI人工智能|性能超越图神经网络，将标签传递和简单模型结合实现SOTA


推荐阅读


上一篇：人工智能|机器人挑选，自动化分拣……青岛5A级物流企业智能无人仓“双十一”放大招

下一篇：行业互联网,阿里巴巴|阿里的勇气