江苏龙网

  1. 首页 > 人文 > >

尤佳轩，图表示法及其实例化的概念，图结构都有所不同

机器之心编译
参与：小舟、杜伟
神经网络的图结构和预测性能之间有怎样的关系？近日 ， 斯坦福尤佳轩、Jure Leskovec 联合 FAIR 何恺明、Saining Xie 等人的论文提出了一种神经网络的新型的图表示法 。 该表示法有助于对神经网络的架构和预测性能有更深层的理解 。 这篇论文已经被 ICML 2020 收录 。
神经网络通常用神经元之间的连接图来表示 。 尽管神经网络被广泛使用 ， 但目前对神经网络图结构与其预测性能之间关系的理解却非常少 。
近日 ， 在斯坦福联合 FAIR 提出的一项研究中 ， 研究者地探讨了神经网络图结构对其预测性能的影响 ， 并提出了一种新的基于图的神经网络表示 ， 他们称之为 relational 图 。 其中 ， 神经网络计算层按照图结构与信息交换的轮数（rounds）对应 。
论文一作为斯坦福大学计算机科学系博士三年级学生尤佳轩（Jiaxuan You）其导师为斯坦福大学计算机科学副教授、Pinterest 首席科学家 Jure Leskovec 。
尤佳轩，图表示法及其实例化的概念，图结构都有所不同
文章图片
总的来说 ， 这项研究有以下几大亮点：
relational 图的最佳区域（sweet spot）在于能够大大提升神经网络的预测性能 。
神经网络的预测性近似为 relational 图的聚类系数和平均路径长度的平滑函数 。
该研究的结果在许多不同的任务和数据集上是一致的 。
【尤佳轩，图表示法及其实例化的概念，图结构都有所不同】relational 图的最佳区域能够得到高效地确定 。
性能顶级的神经网络具有与真实生物神经网络相似的图结构 。
为神经网络的架构设计与理解提供了一种新方向 。
接下来我们来看这篇论文的具体内容 。
为了探索神经网络的图结构 ， 研究者首先提出了 relational 图表示法及其实例化的概念 ， 并演示了该表示方法如何在一个统一的框架下发现各种神经网络的架构 。 在深度学习环境中用图作为语言是一个不错的选择 ， 这将为后续的研究奠定基础 。
研究者从图的角度重新审视神经网络的定义 ， 他们定义了图 G = （V ，ε）其中节点集 V = {v_1 ，... ，v_n} ， 边集 E ? {（v_i，v_j ）v_i，v_j ∈ V} 。 该研究假设每个节点 v 都有一个节点特征标量（或向量）x_v 。
当图 G 与神经元之间的交换联系起来时 ， 它就被称为 relational 图 。 具体而言 ， 交换通过一个函数和一个聚合函数来定义 ， 其中函数的输入是节点特征 ， 输出；聚合函数的输入是集 ， 输出是更新后的节点特征 。
在每轮交换中 ， 每个节点向它的相邻点传递并聚合从所有相邻点传入的 。 每条在边上通过函数 f传递 ， 通过聚合函数 AGG在每个节点聚合 。
假设进行 R 轮交换 ， 那么节点 v 的第 r 轮交换可表示为：
尤佳轩，图表示法及其实例化的概念，图结构都有所不同
文章图片
需要注意的一点是 ， 这种定义交换的方式适用于任何图 。 为了简单起见 ， 该论文中仅考虑无向图 。 公式 1 提供了交换的通用定义 。
下表 1 则给出了该通用交换定义在几种神经架构中的实例化结果：
尤佳轩，图表示法及其实例化的概念，图结构都有所不同
文章图片
表 1：用 relational 图语言表达的几种神经架构 。
固宽 MLP 的 relational 图
多层感知器（MLP）由多层计算单元（神经元）组成 ， 其中每个神经元对标量输入（scalar input）和输出执行加权求和 ， 进行一些非线性处理 。


推荐阅读


上一篇：第一财经|光学业务快速增长，欧菲光上半年净利同比大增2290％

下一篇：每日经济新闻|交易异动！盐田港：无未披露的重大信息 近3个交易日上涨26.3%