科技匠|为什么我们的神经网络需要激活函数( 二 )
我们需要更多的东西 。 我们需要将每个神经元计算出的加权和传递给一个非线性函数 , 然后将这个函数的输出看作那个神经元的输出 。 这些函数称为激活函数 , 它们在允许神经网络学习数据中的复杂模式时非常重要 。
[1] 已经证明 , 具有2层(输入层除外)和非线性激活函数的神经网络 , 只要在这些层中有足够多的神经元 , 就可以近似任何函数 。 那么 , 如果只有两层就够了 , 为什么人们现在还在使用更深层次的网络呢?嗯 , 仅仅因为这两层网络"能够"学习任何东西 , 这并不意味着它们很容易优化 。 在实践中 , 如果我们的网络产能过剩 , 他们就会给我们提供足够好的解决方案 , 即使他们没有尽可能地优化 。
还有更多种类的激活函数 , 我们想在上面的示例中使用其中的两种 。 它们分别是ReLU(直线单元)和tanh(双曲正切) , 如下图所示 。
如果我们在示例中使用ReLU激活 , 将会发生什么?下图是应用ReLU激活后n1和n2神经元的输出 。
现在 , 我们的这两类点可以用直线分开 , 这样输出神经元就可以正确地对它们进行分类 。
如果我们使用tanh激活 , 也会发生类似的事情 , 但这次我们的点之间的差距更大 。
同样 , 输出神经元可以正确地分类这些点 。
这里有一个简单的数学证明 , 证明任何线性函数的线性组合仍然是线性的:
其中a0, a1 , … , an是不依赖于输入x1 , … , xn的常数 。
我希望这篇文章对你有用 , 谢谢阅读!
参考
[1] Cybenko, G.V. (2006). "Approximation by Superpositions of a Sigmoidal function". In van Schuppen, Jan H. (ed.). Mathematics of Control, Signals, and Systems. Springer International. pp. 303–314.
作者:Dorian Lazar
【科技匠|为什么我们的神经网络需要激活函数】deephub翻译组
推荐阅读
- 小红猪带你看科技|七夕节送女朋友必备左点小艾智能艾灸器X8,3天众筹500万
- 浪浪科技精选|超频三GI-CX240 ARGB水冷,极致性能冷酷到底
- ITheat热点科技|可搭载高规格显卡,AMD将发布新移动端处理器:开放完整PCIe通道
- 爱因儿科技|入侵盖茨、马斯克、巴菲特等名人推特账号的黑客被抓了!最小的17岁
- 真理科技原创 知道为什么自己的Vlog不如别人的好吗?飞宇VLOG pocket2体验
- 南方古猿|人类是唯一没有天敌的生物?我们都被骗了,它差点吃光人类祖先!
- 小米科技|小米正式官宣以旧换新,支持小米10系列等5款机型,你等到了吗?
- 小米科技|数亿米粉始料未及!小米2日正式宣布,网友:太良心了!
- 海峡网|李健姚勇为什么退出水木年华,水木年华成员资料
- 科技松鼠会|CJ专属好礼享不停!,八位堂参展2020ChinaJoy