有解析解,为啥还要迭代算数值解
你说的这个问题我不了解, 但是我想我遇到的问题背后的性质和你的问题是一样的.
【有解析解,为啥还要迭代算数值解】 我的问题: 线性回归求解参数时已经有了闭式解, 为什么还使用梯度下降?
先看看线性回归参数的闭式解:
对于矩阵的乘积, 尤其对于矩阵的求逆, 计算量是非常大的!
矩阵的计算复杂度图片来源于Wiki: Computational complexity of mathematical operations
所以还是乖乖的用梯度下降吧!
更多细节可以查看下面引用:
https://stats.stackexchange.com/questions/23128/solving-for-regression-parameters-in-closed-form-vs-gradient-descent
https://stackoverflow.com/questions/18191890/why-gradient-descent-when-we-can-solve-linear-regression-analytically
https://stats.stackexchange.com/questions/278755/why-use-gradient-descent-for-linear-regression-when-a-closed-form-math-solution
■网友
假设E非奇异拉格朗日乘子法将约束规划变成了无约束规划F为拉格朗日乘子法构造的辅助函数令▽F=0就可以解出稳定点了。最值只有可能出现在稳定点。(F可导恒成立。E行满秩时,拉格朗日乘子法成立)▽F=0一般是非线性方程组所以不好解,但是这里不是二次规划吗?那▽F=0是线性方程组,很好解因为E非奇异,所以题主最后那个线性方程组解唯一。Hesse矩阵也可求,看来还要加上条件,Q半正定。那么这个解就是最小值了二次规划,E非奇异,Q半正定,可以解线性方程做,总是比迭代好。其他时候还是要迭代
■网友
我觉得“选择”这个问题无非是看操作成本和操作可能行,解析解性质良好,但是要求较多,如 @Colin 和匿名回答的两位所说,需要矩阵可逆,半正定,求逆操作计算开销大。往往在实际问题中,只需要知道一个数值解就可以了,此时数值解的优势就体现出来了。计算速度快,要求较少(实际中甚至常常不去判断条件是否满足,如梯度下降中的凸函数要求。。。)
■网友
作为物理专业的,最近还在做这方面相关的人,其实解析解和数值解完全不一样。解析解可以研究出物理变量之间本质的联系和规律,但是数值解,就只是数字而已,没什么太重大的意义。
话虽明白,但是解析解好难求啊啊啊啊啊啊啊啊啊啊啊啊啊啊
■网友
我最近也在学习最优化问题,很抱歉暂时还不能回答题主的问题,但是从广义的角度去看,世界上的数学问题从有解析解,到数值解,再到利用随机方法求解,甚至到用哲学的思想去解决数学问题,这其中是不是不确定性才是这个世界的本质呢?也就是说能用解析解表达的问题还是少数~
推荐阅读
- 「发现」民警上前询问发现他醉驾了 还要逞强送同事回家 驾驶员车内呕吐不止
- 为啥看到书柜上的藏书会有心旷神怡的感觉
- 为啥知乎上普便有一种【我在北上广深打工,所以拥有更好的视野】这样的错觉
- 为啥工商银行的用户体验如此之差
- 汽车|看了中消协4S店服务测评调查结果,终于知道法系车为啥卖不好了
- 你为啥从窝窝商城离职?
- 为啥5G和2.4G默认的BSSID是相同的
- 为啥电器实体店的价格比淘宝贵那么多
- 现在在线学习视频有很多了,为啥大部分人还是喜欢下载下来观看
- 为啥到现在你还没有女朋友 ?
