gtx1070能跑多深的网络

网络层数其实还不是很重要的,重要的是你是什么层,如果全是卷积层可以很多,一般来说全连接层的参数是相应卷积层的几十倍以上, 比如alexnet 模型之所以参数多,不是因为它深而是因为他最后基层的fc 参数很多, 所以给你的建议是看看你的g和d中fc多吗?如果多的话是否可以用cnn替代
■网友
你的每个hiddensize都是多少?batchsize是多少?这些比较重要的你都没说,层的类型也没说。不同层的参数数量:lstm\u0026gt;mlp\u0026gt;cnn
■网友
建议先估算一下两个网络所占的内存数量。书上看来的。CNN模型在训练期间需要很多内存的。在训练期间,每个层计算的内容因为向前传递的需要都要被暂时保存下来,所以训练期间所需要内存的数量(至少)是所有层的内存总数。例如,一个卷积层,输入图片尺寸150×100,输出200个特征,特征向量32位浮点,那么这个卷积层训练一个实例需要内存150×100×200×32/8=11.4 MB。一个batch训练100个实例的话,内存需要11.4×100=1140M。你把模型里的所有卷积层所需内存累加一下,如果超过8G,那一张GTX1070的显存肯定不够的。内存不够的话,只能减少batch_size或者是把图片尺寸调小些。这样所需的内存数会显著下降的。如果还不行的话,只有加GPU了。
■网友
从一个epoch到第二个epoch的时候报的的话,就应该不是网络放不下,而是你持续在计算图里加op,始终记得在train的循环里不要增加任何的op,如果只run已有的op就不会有这个问题。
■网友
其实参数量真不是主要的,关键的是中间featuremap的大小和数量。残差网参数比alexnet少多了,但跑起来需要的显存比后者高十倍以上。


    推荐阅读