支持向量回归机(SVR)标准形式中1/2||w||2咋理解

1. 可以理解为对模型参数的一个归一化,减轻overfitting. 2. 貌似是能够证明 1/2||w||2 表示了 support vector 之间的距离。 详情请参考libsvn 作者,Lin Chih-Jen 的PPT以及论文。
■网友
SVR的模型是从分类模型推导过来的,所以这一项跟分类是一样的,最大间隔。邓乃扬的【支持向量机】里面有推导过程。
■网友
最近我也在思考这个问题,我觉得可以是这样的。在SVM二分类模型处理线性可分的问题的时候,我们需要让 【支持向量回归机(SVR)标准形式中1/2||w||2咋理解】 支持向量回归机(SVR)标准形式中1/2||w||2咋理解
表示的实际上的支持向量到分隔超平面的点面距离最大,这样就可以尽可能保证当我们拿到一个新的样本的时候,有最大的置信度可以将这个样本进行分类,这样实际上就构成了一个尽可能宽的间隔带,所有的样本都位于间隔带外部。
同样,我们处理SVR的时候,也需要构成一个尽可能宽的间隔带。考虑到模型回归的超平面为 支持向量回归机(SVR)标准形式中1/2||w||2咋理解
,则根据SVR的定义,一侧的间隔带边界为 支持向量回归机(SVR)标准形式中1/2||w||2咋理解
,另一侧则为 支持向量回归机(SVR)标准形式中1/2||w||2咋理解
。那么两侧的间隔带边界的实际上的距离就是 支持向量回归机(SVR)标准形式中1/2||w||2咋理解
,我们的目标就是让这个数值就可能大,因为只有这样,来了一个新的样本预测的时候,我们才有最大的置信度可以保证这个样本位于间隔带内部,这样也就表示可以正确回归。可以发现, 支持向量回归机(SVR)标准形式中1/2||w||2咋理解
最大等价于 支持向量回归机(SVR)标准形式中1/2||w||2咋理解
最大,因为 支持向量回归机(SVR)标准形式中1/2||w||2咋理解
是一个人为设定的超参数,是一个定值, 支持向量回归机(SVR)标准形式中1/2||w||2咋理解
最大等价于 支持向量回归机(SVR)标准形式中1/2||w||2咋理解
最小。
换个角度想, 支持向量回归机(SVR)标准形式中1/2||w||2咋理解
也可以看作是对参数进行了一定的正则化操作。

■网友
虽然没人看,补充一点儿吧。最近看到引文书上的观点,在讲岭回归的部分。
这是一个附加约束条件,为了使得模型不单在训练集上表现好,在测试集上表现也较好,即增加模型的泛化能力。这个附加约束是 支持向量回归机(SVR)标准形式中1/2||w||2咋理解
的所有元素都应该接近于 支持向量回归机(SVR)标准形式中1/2||w||2咋理解
。直观上来看,这意味着每个特征对输出的影响应该尽量小(即斜率很小),同时仍给出很好的预测结果。
这种约束是所谓的正则化的一个例子。正则化是指对模型做显示约束,以避免过拟合。
(核)岭回归和SVR用的都是 支持向量回归机(SVR)标准形式中1/2||w||2咋理解
正则化。
当初没搞明白的时候搜到的这个问题,最后还是看文献看明白的,现在来回答一下吧。其实我们想复杂了,这里比SVC的原理还要简单。
和SVC的大目的一样,都是为了增加学习模型的鲁棒(robust)性,即当某个预测的数据点的变量X有较小变化的时候,我们期望预测值


推荐阅读