江苏龙网

  1. 首页 > 生活 > >

不用诸如自编码器等无监督的逐层训练方式，而采用遗传算法直接搜索整个深层神经网络的权重等参数是否可行

可以，随机搜索也可以，前提是你能承受计算复杂度的爆炸
■网友
……我只能说，你可以试一试………
■网友
large scale的问题。简单来说：规模大的时候参数无法编码。小规模的问题，早已有解决
■网友
首先我觉得题主你第一个前提有点屌。如果不考虑效率都行，是我就直接蒙特卡罗法在n维空间疯狂取 10^xx 次方取点暴力求解。综合考虑效率和拟合效果。（我不知道你的具体问题模型是啥所以也不太好说。）对于以前做的图像处理匹配，我有时用遗传算法做第一层网络的估计解，当做初始值。剩下的因为后面的神经元也相对少所以直接训练。给我的感觉还是，没有过拟合，结果还行（遗传算法给网络初始值的办法就是防止局部最小的……），但是等遗传算法繁殖n代实在是时间有点久。。相比之下他的亲戚粒子群跑的很快。不过。。识别率差10%以及一个直接神经网络的训练，4层，1024输入，我没等他跑完直接关了。。最后说你说的过拟合，不单单和网络初始值有关，还和学习速度以及学习方式最大步数等等参数挂钩，光凭一个xx算法看不出什么倪端。
■网友
遗传算法，是在你手头没有算法的情况下才用的，所谓last choice
■网友
庞大的参数学习，交叉、变异复杂度都极高，而且你还要承受无止境的迭代··
■网友
很早以前有人做过了，你可以找找九十年代的文献。还能够连权重带结构一起学习。我记得后来好像就没人用了。


    推荐阅读


    上一篇：iOS的盗版体验是不是比Android好很多，如果是的话为何Android的盗版问题反而更严重

    下一篇：南京银行信息技术部和华为南研所选哪一个