尤佳轩,图表示法及其实例化的概念,图结构都有所不同( 三 )


尤佳轩,图表示法及其实例化的概念,图结构都有所不同
文章图片
主要实验结果 。 严格控制所有实验的计算预算 , 每个可视化结果平均至少 3 个随机种子 。 右下角的 C=1 , L=1 的完全图作为基线 。 图中红色矩形突出显示了最佳区域 。
值得注意的是 , 研究者发现性能最佳的图倾向于在 C 和 L(图 4(f)中的红色矩形区域)定义的空间中聚类出最佳区域 。 具体而言 , 研究者按照以下步骤确定最佳区域:
对图 4(a)中的 3942 张图进行下采样并将其聚合为 52 个 bin 的粗粒度区域 , 其中每个 bin 记录对应区域图的性能 。
找出平均性能最佳的 bin(图 4(f)中的红叉)
对每个 bin 做单尾 t - 检验 , 与性能最佳的 bin 进行对比 , 并将没有比性能最佳的 bin 差很多(p 值 0.05 为阈值)的 bin 记录下来 。 覆盖这些 bin 的面积最小的矩形被视为最佳区域 。
在下图 5(左)中 , 研究者计算了使用全部 3942 张图和使用子样本 52 张图计算的 52bin 值之间的相关性 , 图 5(右)计算了子样本 52 张 relational 图中 , 部分训练模型的验证 top-1 误差和完全训练 100 epoch 模型的验证 top-1 误差之间的相关性:
尤佳轩,图表示法及其实例化的概念,图结构都有所不同
文章图片
目前 , 研究者将 relational 图表示用作结构先验(structural prior)也就是说 , 在整个训练过程中 , 他们将图结构硬连接(hard-wire)在神经网络上 。
尤佳轩,图表示法及其实例化的概念,图结构都有所不同
文章图片
最后 , 该研究表明 , 网络科学、神经科学等其他理科学科中完善的图技术和方法有助于理解和设计深度神经网络 。 研究者认为 , 在未来需要解决更复杂场景任务的研究中 , 这可能是一种卓有成效的发展方向 。
Amazon SageMaker 是一项完全托管的服务 , 可以帮助人员和数据科学家快速构建、训练和部署机器学习 模型 。 SageMaker完全消除了机器学习过程中每个步骤的繁重工作 , 让高质量模型变得更加轻松 。
本文相关词条概念解析:
神经网络
【尤佳轩,图表示法及其实例化的概念,图结构都有所不同】人工神经网络(ArtificialNeuralNetwork , 即ANN) , 是20世纪80年代以来人工智能领域兴起的研究热点 。 它从信息处理角度对人脑神经元网络进行抽象 , 建立某种简单模型 , 按不同的连接方式组成不同的网络 。 在工程与学术界也常直接简称为神经网络或类神经网络 。 神经网络是一种运算模型 , 由大量的节点(或称神经元)之间相互联接构成 。 每个节点代表一种特定的输出函数 , 称为激励函数(activationfunction) 。 每两个节点间的连接都代表一个对于通过该连接信号的加权值 , 称之为权重 , 这相当于人工神经网络的记忆 。 网络的输出则依网络的连接方式 , 权重值和激励函数的不同而不同 。 而网络自身通常都是对自然界某种算法或者函数的逼近 , 也可能是对一种逻辑策略的表达 。 最近十多年来 , 人工神经网络的研究工作不断深入 , 已经取得了很大的进展 , 其在模式识别、智能机器人、自动控制、预测估计、生物、医学、经济等领域已成功地解决了许多现代计算机难以解决的实际问题 , 表现出了良好的智能特性 。


推荐阅读