卷积神经网络的最后一层若是选用简单的机器学习模型来分类(如SVM),那么该怎么样进行参数更新
不就是换个loss吗,只要能产生梯度就bp
■网友
把最后一层的分类器当成一个layer, 求梯度然后更新权值即可~
■网友
常见监督问题的神经网络 都可以看做由两部分组成,所有隐藏层构成的特征转换器,输出层看作是基于新表示/特征的 简单浅层模型。
【卷积神经网络的最后一层若是选用简单的机器学习模型来分类(如SVM),那么该怎么样进行参数更新】 所以,平时最后一层用的全连接+ softmax 只是个例子而已。它的选择依赖要解决的具体问题,选合适的就好,只要loss 可以计算梯度。
而隐藏层构成的特征转换器更robust一些,主要与数据类型相关,如图片还是语音等。它的目的是,使得在原有表示下线性不可分的样本,经过特征转换后,变得线性可分。
■网友
有一篇论文是 deep learning using SVM,您可以看看。思路是原始的SVM loss是hinge loss,并不是处处可导的(这种是L1-SVM)。所以作者采用的squared hinge loss,这样处处可导(L2-SVM),你就可以反向传播梯度下降了。
至于多分类的SVM,传统的one-vs-rest SVM就可以达到目的。
推荐阅读
- 高速|高速限速120,跑到125算不算超速?交警:最后再说一次,记好
- 考生|最后一天,考生们加油疫情下不一样的高考!49万人应考
- 汽车知识|无后驱不豪华盘点3款后驱豪车,最后一款20万不到
- 趣头条|大男人最后的疯狂,喜提路虎揽胜运动版!
- 汽车消费网|“东本飞度”/坦克300终于都来了,2020最后一波新车
- 汽车|2020最后一战 奔驰四大顶级“高手”组成最佳锋线
- 超跑密探|2020年车市最后一波新款来袭,你看中哪款?
- |2020年最后一个月 这些新规开始实施!
- 有哪些开始很不被看好,最后却逆袭成功的产品
- 水滴汽车App|锈迹斑驳标牌与空无一车,亲历华晨中华的最后时刻
