江苏龙网

  1. 首页 > 人文 > >

新智元这么简单的游戏还卡壳？神经网络在“生命游戏”里苦苦挣扎( 二 )


然后 ， 他们尝试着从零开始训练 ， 看看同样的神经网络在能否达到最佳设置 。 他们将参数初始化为随机值 ， 并对神经网络进行了100万个随机生成的生命游戏实例的训练 。 神经网络达到100%准确率的唯一方法是收敛于手工制作的参数值 。 这意味着人工智能模型已经将生命游戏背后的规则参数化 。
新智元这么简单的游戏还卡壳？神经网络在“生命游戏”里苦苦挣扎
本文插图
但在大多数情况下 ， 经过训练的神经网络并没有找到最优解 ， 并且 ， 随着步数的增加 ， 网络性能进一步下降 。
果然 ， 训练样本集的选取和初始参数对神经网络的训练效果有很大影响 。
最不幸的是 ， 你永远不会知道神经网络的初始权重应该是多少 。 常见的做法是从正态分布中挑选随机值 。
雅各布·施普林格说:「对于许多问题 ， 你在数据集方面没有太多的选择; 你可以收集数据 ， 所以如果你的数据集有问题 ， 你可能很难训练神经网络 。 」
大型神经网络的性能
新智元这么简单的游戏还卡壳？神经网络在“生命游戏”里苦苦挣扎
本文插图
左图: 一个手动调整的卷积神经网络可以非常准确地预测生命游戏的结果 。 右: 实践中 ， 当从头开始训练网络时 ， 需要一个更大的神经网络来获得同样的结果
在机器学习中 ， 提高表现不佳的模型准确性的流行方法之一就是增其复杂性 。 这个技巧在生命的游戏中起到了作用 。
随着研究人员为神经网络增加了更多的层次和参数 ， 结果得到了改善 ， 训练过程最终产生了一个近乎完美的精确度的解决方案 。
但是 ， 一个更大的神经网络也意味着训练和运行深度学习模型的成本增加 。
新智元这么简单的游戏还卡壳？神经网络在“生命游戏”里苦苦挣扎
本文插图
一方面 ， 这表明了大型神经网络的灵活性 。 虽然一个巨大的深度学习模型可能不是解决问题的最佳架构 ， 但是它有更大的机会找到一个好的解决方案 。 但另一方面 ， 它证明了可能存在一种更小的深度学习模型 ， 能够提供相同或更好的结果ーー如果你能找到它的话 。
这些发现与麻省理工学院 CSAIL 的人工智能研究人员在 ICLR 2019会议上提出的“彩票假说”是一致的 。 该假设认为 ， 对于每一个大型神经网络 ， 如果它们的参数已经根据幸运中奖值初始化 ， 就会有较小的子网络可以收敛到一个解决方案 ， 因此称为「彩票」命名法 。
生命游戏论文的作者写道: 「彩票假说认为 ， 当训练一个卷积神经网络时 ， 小型幸运子网络会迅速聚集到一个解决方案上 。 」 。 「这表明 ， 梯度下降优化不是通过权值空间广泛搜索最优解 ， 而是可能依赖于幸运的权值初始化 ， 这些权值恰好将子网定位在接近网络收敛到的合理局部极小值的位置 。 」
新智元这么简单的游戏还卡壳？神经网络在“生命游戏”里苦苦挣扎
本文插图
斯普林格说: 「我认为这些结果肯定会激励人们研究改进的搜索算法 ， 或者提高大型网络效率的方法 。 」
中关村软件园20周年 ， 品牌活动“创新之源”大会再升级！
【新智元这么简单的游戏还卡壳？神经网络在“生命游戏”里苦苦挣扎】9月22日 ， 2020创新之源大会 —“科技力量创变未来”在中关村软件园国际会议中心召开 。 大会由中关村软件园主办 ， 中关村软件园孵化器、新智元、北京银行共同承办 ， 邀请到清华大学副校长、北京量子信息科学研究院院长薛其坤院士 ， 清华大学电子工程系主任、信息科学技术学院副院长汪玉 ， 科大讯飞联合创始人、讯飞创投董事长徐景明 ， 搜狗公司CEO王小川 ， 网易集团副总裁、网易有道CEO周枫 ， 达闼科技创始人兼CEO黄晓庆 ， 浪潮信息副总裁、浪潮AI&HPC总经理刘军， 腾讯自动驾驶业务中心总经理苏奎峰 ， 新智元创始人兼CEO杨静等重磅嘉宾出席 。


推荐阅读


上一篇：游戏陀螺|微软75亿美元收购B社母公司！主机、云平台之争正加速资源整合

下一篇：整点鲜闻|吃瓜爆料：李易峰，朱一龙，刘宇宁，周迅，《王牌对王牌》