卷积神经网络的最后一层若是选用简单的机器学习模型来分类(如SVM),那么该怎么样进行参数更新

不就是换个loss吗,只要能产生梯度就bp
■网友
把最后一层的分类器当成一个layer, 求梯度然后更新权值即可~

■网友
常见监督问题的神经网络 都可以看做由两部分组成,所有隐藏层构成的特征转换器,输出层看作是基于新表示/特征的 简单浅层模型。
【卷积神经网络的最后一层若是选用简单的机器学习模型来分类(如SVM),那么该怎么样进行参数更新】 所以,平时最后一层用的全连接+ softmax 只是个例子而已。它的选择依赖要解决的具体问题,选合适的就好,只要loss 可以计算梯度。
而隐藏层构成的特征转换器更robust一些,主要与数据类型相关,如图片还是语音等。它的目的是,使得在原有表示下线性不可分的样本,经过特征转换后,变得线性可分。

■网友
有一篇论文是 deep learning using SVM,您可以看看。思路是原始的SVM loss是hinge loss,并不是处处可导的(这种是L1-SVM)。所以作者采用的squared hinge loss,这样处处可导(L2-SVM),你就可以反向传播梯度下降了。
至于多分类的SVM,传统的one-vs-rest SVM就可以达到目的。


    推荐阅读