江苏龙网

  1. 主页 > 生活百科 > >

反向传播算法过程 什么事反向传播算法

自从机器学习被引入递归非线性函数(如人工神经网络)以来，相关内容的应用得到了充分的发展 。在这种情况下，训练正确的神经网络是建立可靠模型的最重要的方面 。这种训练通常和“反向传播”这个词联系在一起，对于大多数新手来说是非常模糊的 。这也是本文的意义所在 。
反向传播是神经网络训练的本质 。实际上是根据前一个历元(即迭代)得到的错误率(即损失)来微调神经网络权值的做法 。适当的权重调整可以保证较低的错误率，增加模型的适用性，使其更加可靠 。
那么这个过程是如何进行的呢？让我们以身作则吧！
为了让这个例子尽可能容易让大家理解，我们只覆盖相关概念(比如损失函数、优化函数等 。)就不解释了，因为这些话题值得我们另起一篇文章来阐述 。
首先，让我们设置模型组件
想象一下，我们需要训练一个深度神经网络 。训练的目的是建立一个模型，该模型使用两个输入和三个隐藏单元来执行XOR(异或)函数，因此训练集如下所示:
另外，我们需要一个激活函数来确定神经网络中每个节点的激活值 。为简单起见，让我们选择一个激活函数:
我们还需要一个假设函数来确定激活函数的输入是什么 。该功能是:
让我们选择损失函数作为逻辑回归的一般成本函数 。这看起来有点复杂，但实际上很简单:
此外，我们将使用批量梯度下降优化函数，该函数用于确定我们应该调整权重的方向，以获得比我们现有的更低的损失 。最后，学习率为0.1，所有权重将初始化为1 。
我们的神经网络
让我们最后画一张期待已久的神经网络图 。它应该是这样的:
最左边的图层是输入图层，将X0作为值1的偏移，将X1和X2作为输入要素 。的中间层是第一个隐藏层，它的偏差项Z0也是1 。最后，输出层只有一个输出单元D0，其激活值就是模型的实际输出(即h(x)) 。
【反向传播算法过程 什么事反向传播算法】现在我们向前伸展
现在是时候将信息从一层传递到另一层了 。这需要经过两个步骤，通过网络中的每个节点/单元:
1.使用我们之前定义的h(x)函数获得特定单位输入的加权和 。
2.将我们在步骤1中获得的值插入我们的激活函数(本例中为f(a)= a ),并将我们获得的激活值(即激活函数的输出)用作连接输入要素的下一层中的节点 。
请注意，单元X0、X1、X2和Z0没有任何连接到它们的单元来提供输入 。因此，上述步骤不会出现在这些节点中 。然而，对于剩余的节点/单元，训练集中第一个输入样本的整个神经网络如下:
其他单位也是如此:
如前所述，最终单元(D0)的激活值(Z)就是整个模型的激活值(Z) 。因此，我们的模型预测输入集{0，0}的输出为1 。计算当前迭代的损失/成本，如下所示:
actual_y值来自训练集，而predict_y值是我们的模型生成的值 。所以这次迭代的代价是-4 。
那么反向传播在哪里呢？
根据我们的例子，我们现在有一个模型没有给出准确的预测(它给我们的值是4而不是1)，这是由于它的权重没有调整(它们都等于1) 。我们也有损失，即-4 。反向传播就是将这种损失反向传递，这样我们就可以根据这种方式来微调权重 。优化函数(在我们的例子中是梯度下降)将帮助我们找到权重 。那我们开始吧！
使用以下功能进行前馈:
然后，通过这些函数的偏导数出现反向反馈 。不需要经历推导这些函数的过程 。我们需要知道的是，上述函数将遵循:
其中z是从前馈步骤中的激活函数计算中获得的z值，δ是层中的单元损失 。
我知道一次可以吸收很多信息，但我建议你花一些时间真正了解每一步发生了什么，然后再继续 。
计算增量
现在我们需要找到神经网络中每个单元/节点的损失 。这是为什么呢？我们这么想吧 。深度学习模型到来时的每一次损失，其实都是所有节点累加到一个数字上造成的 。因此，我们需要找出每个层中哪个节点对大部分损失负责，以便我们可以通过给它较小的权重值来惩罚它，从而减少模型的总损失 。
计算每个单元的增量可能会有问题 。但是，感谢吴恩达先生，他给了我们整个事情的捷径公式:
其中，delta_0、w和f′(z)的值是相同的单位值，delta_1是受力链路另一侧的单位损耗 。例如:
你可以这样想 。为了获得一个节点的损失(例如，Z0)，我们将其对应的值f'(z)乘以下一级连接的节点的损失(delta_1)，然后乘以连接两个节点的链路的权重 。


推荐阅读


上一篇：免费思维导图软件推荐 思维导图软件免费版哪个好

下一篇：清除C盘垃圾文件方法 清除电脑c盘垃圾文件