江苏龙网

  1. 首页 > 资讯 > 科技 > >

|训练时间和参数量百倍降低，直接使用标签进行预测，性能超GNN( 二 )


具体而言 ， 该方法首先使用一个基于节点特征的基础预测器 ， 它不依赖于任何图学习 。 然后 ， 执行两种类型的标签传播 (LP)：一种通过建模相关误差来校正基础预测；一种用来平滑最终预测 。 研究人员将这两种方法的结合称作 Correct and Smooth（C&S ， 参见图 1） 。 LP 只是后处理步骤 ， 该 pipeline 并非端到端训练 。 此外 ， 图只在后处理步骤中使用 ， 在前处理步骤中用于增强特征 ， 但不用于基础预测 。 这使得该方法相比标准 GNN 模型训练更快速 ， 且具备可扩展性 。
该研究还利用两种 LP 和节点特征的优势 ， 将这些互补信号结合起来可以获得优秀的预测结果 。
实验
为了验证该方法的有效性 ， 研究者使用了 Arxiv、Products、Cora、Citeseer、Pubmed、Email、Rice31、US County 和 wikiCS 九个数据集 。
|训练时间和参数量百倍降低，直接使用标签进行预测，性能超GNN
本文插图

节点分类的初步结果
下表 2 给出了相关实验结果 ， 研究者得出了以下几点重要发现 。 首先 ， 利用本文提出的 C&S 模型 ， LP 后处理步骤会带来巨大增益（如在 Products 数据集上 ， MLP 的基础预测准确率由 63% 提升至 84%）；其次 ， 具有 C&S 框架的 Plain Linear 模型的性能在很多情况下优于 plain GCN ， 并且无可学习参数的方法 LP 的性能通常也媲美于 GCN 。 这些结果表明 ， 通过简单使用特征在图中直接合并关联往往是更好的做法；最后 ， C&S 模型变体在 Products、Cora、Email、Rice31 和 US County 等 5 个数据集上的性能通常显著优于 SOTA 。 在其他数据集上 ， 表现最佳的 C&S 模型与 SOTA 性能之间没有太大的差距 。
|训练时间和参数量百倍降低，直接使用标签进行预测，性能超GNN
本文插图

使用更多标签进一步提升性能
下表 4 展示了相关结果 ， 强调了两点重要发现 。 其一 ， 对于想要在很多数据集上实现良好性能的直推式节点分类实验而言 ， 实际上并不需要规模大且训练成本高的 GNN 模型；其二 ， 结合传统的标签传播方法和简单的基础预测器能够在这些任务上优于图神经网络 。
|训练时间和参数量百倍降低，直接使用标签进行预测，性能超GNN
本文插图

更快的训练速度 ， 性能超过现有 GNN
与 GNN 或其他 SOTA 解决方案相比 ， 本文中的 C&S 模型需要的参数量往往要少得多 。 如下图 2 所示 ， 研究者绘制了 OGB-Products 数据集上参数与性能（准确率）的变化曲线图 。
|训练时间和参数量百倍降低，直接使用标签进行预测，性能超GNN
本文插图

除了参数量变少之外 ， 真正的增益之处在于训练速度更快了 。 由于研究者在基础预测中没有使用图结构 ， 与其他模型相比 ， C&S 模型在保持准确率相当的同时往往实现了训练速度的数量级提升 。
具体而言 ， 与 OGB-Products 数据集上的 SOTA GNN 相比 ， 具有线性基础预测器的 C&S 框架表现出更高的准确率 ， 并且训练时长减至 1/100 ， 参数量降至 1/137 。
性能可视化
为了更好地理解 C&S 模型的性能 ， 研究者将 US County 数据集上的预测结果进行了可视化操作 ， 具体如下图 3 所示 。 正如预期的一样 ， 对于相邻 county 提供相关信息的节点而言 ， 残差关联往往会予以纠正 。
|训练时间和参数量百倍降低，直接使用标签进行预测，性能超GNN
本文插图


推荐阅读


上一篇：|AlphaGo原来是这样运行的，一文详解多智能体强化学习

下一篇：农业|搭上电商快车 西北1000个村庄农产品参战“双11”