怎样解释梯度下降算法中的Proximal Gradient Descent和SubGradient?

subgradient就是次梯度,表示不可导点梯度的一种方法。关于proximal gradient,我以前记了一个笔记,贴上来看看
怎样解释梯度下降算法中的Proximal Gradient Descent和SubGradient?



■网友
【怎样解释梯度下降算法中的Proximal Gradient Descent和SubGradient?】 在一个凸函数L(w)中,如果w0可微那么这个点的subgradient就是这个点的梯度(gradient),但是如果在一个w0不可微,那么这个点就没有明确的梯度了,但是会有很多个subgradient。当损失函数正则项如果是L1的话,会出现这种在w0处不可微的情况,这里就会存在subgradient.


    推荐阅读