技术编程,AI人工智能|性能超越图神经网络，将标签传递和简单模型结合实现SOTA
文章图片
文章图片
译者 | 刘畅
头图 | CSDN付费下载自视觉中国
图神经网络（GNNs）是图学习中一种主流的技术 。然而 ， 对于GNN为什么在实际使用中很成功以及它们是否是优异性能所必需的技术 ， 了解相对较少 。
本文展示了许多标准的传导节点网络的分类基准结果 ， 作者通过将忽略图结构的浅层模型与利用标签结构中相关性的两个简单后处理步骤相结合 ， 可以超越或匹配SOTA的GNN的性能 ， 这里主要有两个相关性（i）将训练数据中的残余误差带到测试数据中 ， 用于矫正错误的“误差相关性”（error correlation） ， 以及（ii）一个“预测相关性” ， 它可以平滑测试数据上的预测 。本文称整个过程为矫正且平滑（Correct and Smooth, C&S） ， 后处理步骤是通过对早期基于图的半监督学习方法的标准标签传导技术的简单修改来实现的 。
本文的方法在各种基准测试上超过或接近于SOTA的GNNs的性能 ， 并且它只需要一小部分的参数 ， 运行速度更快 。例如 ， 本文方法在OGB产品数据集中以减少137倍的参数和100倍的训练时间超过了最著名的GNN性能 。本文方法的性能突出展现了如何直接将标签信息纳入学习算法（如在传统技术中所做的那样） ， 并产生简单而实质性的性能提升 ， 也可以将技术融入大型GNN模型中 ， 提供适度增益 。
OGB结果的代码是：
引言
随着神经网络在计算机视觉和自然语言处理方面的成功 ， 现在有许多的图神经网络（GNN）来对关系性数据进行预测 。这些模型已经取得了很大的成功 ， 并且在开放的图基准排行榜上名列前茅 。通常 ， GNN的方法主要是围绕着创建比基本结构更具表现力的体系结构 ， 如图卷积网络（GCN）或GraphSAGE；例子如图注意力网络 ， 图同构网络和各种深层模型 。许多新GNN架构的想法都是从语言（例如注意力）或视觉（例如深层CNN）模型中的新架构改编而来的 ， 希望能成功转化为图形 。然而 ， 随着这些模型变得越来越复杂 ， 理解它们的性能增益是一个主要的挑战 ， 并且将它们扩展到大型数据集是很困难的 。
在本文中 ， 我们将展示 ， 通过组合更简单的模型 ， 我们可以达到多大的程度 ， 重点是了解在图学习中 ， 特别是转化节点分类中 ， 哪里有容易提高性能的机会 。本文提出了一个包含三个主要部分的简单管道（pipeline）（图1）：（i）使用忽略图结构的节点特征进行基础预测（例如 ， MLP或线性模型）；（ii）校正步骤 ， 它将训练数据中的不确定性传播到图中 ， 以校正基础预测；以及（iii）对图上的预测进行平滑处理 。步骤（ii）和（iii）只是后处理 ， 使用的是经典的基于图的半监督学习方法 ， 即标签传播 。
文章图片
文章图片
图1 任意GNN模型 ， 校正和平滑过程整体概述 ， 并附带一个示例 。
假设左侧簇属于橙色类 ， 右侧簇属于蓝色类 。我们使用mlp进行基础的预测 ， 假设在本例中 ， 图结构对所有节点都给出了相同的预测 。然后 ， 通过传递训练数据中的误差来校正基础的预测 。最后 ， 通过标签传递对校正后的预测进行平滑处理 。
本文方法性能改进的一个主要来源是直接使用标签进行预测 。这种想法并不是什么新鲜事 ， 早期的基于扩散的半监督学习算法 ， 如光谱图传感器、高斯随机场模型和标签扩散都使用了这一思想 。然而 ， 这些方法的动机是在点云数据上进行半监督学习 ， 因此使用特征来构造图 。从那时起 ， 这些技术被用于仅从标签（即无特征）学习关系数据 ， 但在GNNs中基本上被忽略了 。
推荐阅读
- 人工智能|第二届中国超级算力大会在京举行
- 电池技术,相机发烧|防爆相机多少钱能买到？
- 行业互联网|深圳第22届高交会闭幕：一大批新技术新成果集中亮相
- 超能网|亚马逊转用自家芯片进行人工智能训练，只剩少量程序仍然以显卡来训练
- 电池技术|动能转换看烟台｜有锂电池的地方就有创为
- 行业互联网|2020十大新兴技术揭晓！每一项都可能颠覆我们的生活
- 行业互联网|英国运输技术论坛发布网络安全标准和指南摘要
- 钉科技|“选择性过滤”太难?方太“死磕”8年突破净水技术
- 中国新闻网|告别各自为营，梧桐车联宣布开放系统“技术底座”
- AI人工智能|华为P50Pro：前摄屏下隐藏，麒麟芯片绝唱怒怼苹果A14