神经网络中的代价函数有哪些

【神经网络中的代价函数有哪些】 谢邀。补充一下就是代价函数不光是神经网络,而是所有机器学习算法的核心。常见的有
0-1 loss,就是对记 0,错记 1,就像批卷子一样。这方法最直观,但没法儿求导,导数不是不存在,就是 1。于是就很难用这个代价"学习"。当然,如果你用 0-1 loss 来进化更新你的模型还是可以的,不过,这个代价函数更多是给人看的,因为计算正确率必须用到它。如果目的是 regression (拟合),平方误差 神经网络中的代价函数有哪些
是很早出现,也最常见的代价函数。总代价表示为 神经网络中的代价函数有哪些
。如果目的是 classification(分类),而且输出我们规定在 神经网络中的代价函数有哪些
,那么 cross-entropy 是目前最流行的。唯一的难点是,要理解 cross-entropy 为什么有用需要花一番工夫。此外,如果目的不是多分类,而是二分类,negative log-likelihood 是一种特殊形式,在 logistic regression \\ classification 算法中你可以看见其身影。以上回答过于简略,而且只提到了一些入门级的应用,如有误,请指正。

■网友
别的模型所能用的代价函数,神经网络都能用,没有什么区别。代价函数依据任务而定。
■网友
nceloss——word2vec
最小二成、均方误差
交叉熵






    推荐阅读