为啥梯度下降需要同步更新参数
梯度下降就是从一个点开始，往梯度最大的方向移动。二维情况下，只有两个维度同时移动，才是往梯度最大方向移动。而错误的方法中，两次移动都不是往梯度最大方向。比如，你站在原点，J对x、对y梯度都是-1，显然该向+45度方向移动。而错误的方法是先向x方向移动，再从新计算梯度，然后向y方向移动
■网友
要计算的是当前点的梯度最大方向，得到局部最优是保证的不同步改变的话，计算的就不是当前点，也就没法保证局部最优实际上每一步还得计算下一步的步长，就是那个alphaNg的教材在这方面可能讲得没有专门的教材详细建议参考Nocedal的Numerical Optimization 2nd Edition第三章
■网友
这个涉及到线性规划的原理，不是拍脑袋想出来的
推荐阅读
- 山东PM2.5年平均浓度五年下降37%累计淘汰燃煤小锅炉4.1万余台
- 北京发布寒潮蓝色预警：最低气温下降8℃以上
- 为啥看到书柜上的藏书会有心旷神怡的感觉
- 为啥知乎上普便有一种【我在北上广深打工，所以拥有更好的视野】这样的错觉
- 为啥工商银行的用户体验如此之差
- 汽车|看了中消协4S店服务测评调查结果，终于知道法系车为啥卖不好了
- 你为啥从窝窝商城离职?
- 为啥5G和2.4G默认的BSSID是相同的
- 为啥电器实体店的价格比淘宝贵那么多
- 现在在线学习视频有很多了，为啥大部分人还是喜欢下载下来观看