谷歌用算力爆了一篇论文,解答有关无限宽度网络的一切( 四 )


12. 集成核预测器可使用 NNGP/NTK 进行实用的数据增强
谷歌用算力爆了一篇论文,解答有关无限宽度网络的一切
本文插图
图 11:集成核预测器(ensembling kernel predictors)可使基于大规模增强数据集的预测在计算上可行 。
可以观察到 , DA 集成可提升准确率 , 且相比于 NTK , 它对 NNGP 的效果要好得多 。
【谷歌用算力爆了一篇论文,解答有关无限宽度网络的一切】这里研究者提出了一种直接让集成核预测器实现更广泛的数据增强的方法 。 该策略涉及到构建一组经过增强的数据批 , 为其中每一批执行核推断 , 然后执行所得结果的集成 。 这相当于用模块对角近似替代核 , 其中每个模块都对应一个数据批 , 所有增强的数据批的并集即为完整的增强数据集 。 该方法在该研究所有无线宽度架构的对应核方法上都取得了当前最佳结果 。


推荐阅读