反向传播算法过程 什么事反向传播算法( 二 )
这就是反向传播的工作原理 。我们在每个单元中执行增量计算步骤，将损耗传播回神经网络，并找出每个节点/单元的损耗 。
让我们来计算这些增量！
以下是一些注意事项:
最终单位的损失（即D0）等于整个模型的损失 。这是因为它是输出单位，它的损失是所有单位的累计损失，就像我们之前说的那样 。无论输入（即z）等于什么，函数f’（z）总是给出值1 。这是因为如前所述，偏导数如下：f’（a）= 1 输入节点/单位（X0，X1和X2）没有delta值，因为这些节点在神经网络中无法控制 。它们仅作为数据集和神经网络之间的一个链接 。更新权重
现在剩下的就是更新我们在神经网络中的所有权重 。这遵循批量梯度下降公式:
其中W是手头的权重，alpha是学习率(我们的例子中是0.1)，J'(W)是代价函数J(W)相对于W的偏导数，同样，我们不需要做数学运算 。所以，让我们用吴恩达先生的函数的偏导数:
其中Z是通过正向传播获得的Z值，delta是加权链路另一端的单位损耗:
现在，用每一步中获得的偏导数值和批次梯度递减权重更新所有权重 。值得强调的是，输入节点(X0、X1和X2)的z值分别等于1、0和0 。1是偏移单位的值，而0实际上是数据集的特征输入值 。最后，请注意，更新权重没有特定的顺序 。只要不在同一次迭代中错误地更新任何权重两次，就可以按任何顺序更新它们 。
为了计算新的权重，让我们以神经网络的名称给出链接:
新的权重计算方法如下:
应该注意的是，该模型没有被适当地训练，因为我们仅通过训练集中的一个样本进行传播 。我们已经为样本做了我们能做的一切，可以产生更高精度的模型，试图逼近每一步的最小损失/成本 。
没有正确的方法，机器学习背后的理论真的很难掌握 。一个例子是反向传播，其效果在大多数现实世界的深度学习应用中是可预测的 。反向传播只是把总损失送回神经网络的一种方式，使人们可以方便地知道每个节点的损失，然后通过为节点提供更高的误差来更新权重，然后使用损失最小化的方式，反之亦然 。
推荐阅读
- 完整的软文营销策划方案 企业宣传软文写作与传播方法
- 让用户参与让传播更快 网络互动营销成功案例
- 这样做100%成功 品牌做整合营销传播的成功案例
- 网络整合营销的原则是什么，其传播的协同性和作用
- 整合营销传播理论定义及特性，四招教你玩转整合营销传播
- 图像识别算法的核心技术~人脸识别的识别算法
- 电商品牌推广的工作要求是什么，电商品牌传播策略
- 中国营销传播网网址，非常有创意的营销案例分享
- seo的意思是什么，搜索引擎seo算法介绍
- seo好做吗，seo工作前景分析