支持向量回归机(SVR)标准形式中1/2||w||2咋理解
1. 可以理解为对模型参数的一个归一化,减轻overfitting. 2. 貌似是能够证明 1/2||w||2 表示了 support vector 之间的距离。 详情请参考libsvn 作者,Lin Chih-Jen 的PPT以及论文。
■网友
SVR的模型是从分类模型推导过来的,所以这一项跟分类是一样的,最大间隔。邓乃扬的【支持向量机】里面有推导过程。
■网友
最近我也在思考这个问题,我觉得可以是这样的。在SVM二分类模型处理线性可分的问题的时候,我们需要让 【支持向量回归机(SVR)标准形式中1/2||w||2咋理解】
表示的实际上的支持向量到分隔超平面的点面距离最大,这样就可以尽可能保证当我们拿到一个新的样本的时候,有最大的置信度可以将这个样本进行分类,这样实际上就构成了一个尽可能宽的间隔带,所有的样本都位于间隔带外部。
同样,我们处理SVR的时候,也需要构成一个尽可能宽的间隔带。考虑到模型回归的超平面为
,则根据SVR的定义,一侧的间隔带边界为
,另一侧则为
。那么两侧的间隔带边界的实际上的距离就是
,我们的目标就是让这个数值就可能大,因为只有这样,来了一个新的样本预测的时候,我们才有最大的置信度可以保证这个样本位于间隔带内部,这样也就表示可以正确回归。可以发现,
最大等价于
最大,因为
是一个人为设定的超参数,是一个定值,
最大等价于
最小。
换个角度想,
也可以看作是对参数进行了一定的正则化操作。
■网友
虽然没人看,补充一点儿吧。最近看到引文书上的观点,在讲岭回归的部分。
这是一个附加约束条件,为了使得模型不单在训练集上表现好,在测试集上表现也较好,即增加模型的泛化能力。这个附加约束是
的所有元素都应该接近于
。直观上来看,这意味着每个特征对输出的影响应该尽量小(即斜率很小),同时仍给出很好的预测结果。
这种约束是所谓的正则化的一个例子。正则化是指对模型做显示约束,以避免过拟合。
(核)岭回归和SVR用的都是
正则化。
当初没搞明白的时候搜到的这个问题,最后还是看文献看明白的,现在来回答一下吧。其实我们想复杂了,这里比SVC的原理还要简单。
和SVC的大目的一样,都是为了增加学习模型的鲁棒(robust)性,即当某个预测的数据点的变量X有较小变化的时候,我们期望预测值
推荐阅读
- 『创业』自主创业每年最高可减免税收14400元 南京出台意见,多举措支持退役军人就业创业
- 微博目前已经支持文本,图片,位置分享,为啥没有语音和视频呢微博的pm肯定想过这两种微博形态,但迟迟不做的原因到底是啥。是语音和视频不符合产
- 为啥Smartisan OS只能支持移动的VoLTE
- 能和 Google Calender 方便双向同步的 iOS 日程管理软件有哪些最好也支持iPad
- glsl中向量的除法具体是啥运算过程
- 高校|教育部:支持14所合建高校深化改革工作
- 国内有支持Docker的云服务商吗
- 袁泉|袁泉获金鸡最佳女配,现场感谢先生支持,没想到夏雨的狗粮更狠
- 未来高速|江苏首条“未来高速”明年开通 车路协同支持“无人驾驶”
- 咋知道天猫上某一个商品是否支持货到付款
