什么事反向传播算法反向传播算法过程( 二 ) _云知道

actual_y值来自训练集，而predict_y值是我们模型产生的值。所以这次迭代的成本是-4 。
那么反向传播在哪里呢？
根据我们的例子，我们现在有一个模型没有给出准确的预测（它给我们的值是4而不是1），这归因于它的权重尚未调整（它们都等于1）。我们也有损失，即-4 。反向传播就是以这样一种方式向后传递这种损失，我们可以根据这种方式微调权重。优化函数（在我们的例子中为梯度下降）将帮助我们找到权重。那就让我们开始吧！
使用以下功能进行前馈：

然后通过这些函数的偏导数发生反向反馈。不需要经过经过推导这些函数的过程。我们需要知道的是，上面的函数将遵循：

其中Z是我们从前馈步骤中的激活函数计算中获得的z值，而delta是图层中单位的损失。
我知道有很多信息一次性就能吸收，但我建议你花点时间，真正了解每一步发生了什么，然后再继续前进。
计算增量
现在我们需要找到神经网络中每个单元/节点的损耗。这是为什么呢？我们这样想，深度学习模型到达的每一次损失实际上是由所有节点累积到一个数字引起的。因此，我们需要找出哪个节点对每层中的大部分损失负责，这样我们就可以通过赋予它更小的权重值来惩罚它，从而减少模型的总损失。
计算每个单元的增量可能会有问题。但是，感谢吴恩达先生，他给了我们整个事情的捷径公式：

其中delta_0，w和f’（z）的值是相同单位的值，而delta_1是加权链接另一侧的单位损失。例如：

你可以这样想，为了获得节点的损失（例如Z0），我们将其对应的f’（z）的值乘以它在下一层（delta_1）连接的节点的损失，再乘以连接两个节点的链路的权重。
这正是反向传播的工作原理。我们在每个单元进行delta计算步骤，将损失反向传播到神经网络中，并找出每个节点/单元的损失。
让我们计算一下这些增量！