tensor flow自编码器例子中的归一化问题
我觉得有可能是 0~255 的输入与第一层权重相乘之后范围过大，绝大多数值都落在了激活函数的饱和区，所以学不到东西了。
■网友
我一般忘记除以255了也是可以暴力训练出来的……感觉不至于完全学不到东西……只要初始值能有一点点不落在饱和区的地方，sgd会教剩下的部分做人的。当然收敛点可能会变差。
感觉 @ZJ ZZ 的回答可能真相了，你训练autoencoder是在学一组Dec()和Enc()，试图优化x和Dec(Enc(x))之间的L2距离，然鹅，Dec()的值域比x的小……于是模型就是一脸蒙逼……
■网友
【tensor flow自编码器例子中的归一化问题】 自编码器中是用sigmoid函数进行重构的，它重构出来的数只映射到之间，我自己认为哈，做归一化可以更好地学习数据的分布特征，在用重构误差更新权值的时候效果会更好，这是我个人的理解，也不知道对不。
推荐阅读
- Tensorflow 中咋定义自己的层呢
- Stackoverflow的中国小徒弟们怎样才能更好适应中国国情
- tensorflow 可以处理三维数据图像吗
- 怎样在TensorFlow中定义新的op?
- tensorflow输出含标注框图片函数的问题
- 怎样评价微软将Word Flow键盘推向iOS
- tensorboard中的distributions和hisograms有啥作用
- 谷歌开源的TensorFlow可以怎样应用，用啥语言可以修改
- 为啥google的tensorflow使用eigen作为矩阵运算库而不是自己写一个库
- tensorflow 和 petuum有可能集成在一起使用吗