5.8 小结

本章我们介绍了将计算过程可视化的计算图，并使用计算图，介绍了神经网络中的误差反向传播法，并以层为单位实现了神经网络中的处理。我们学过的层有 ReLU 层、Softmax-with-Loss 层、Affine 层、Softmax 层等，这些层中实现了 forward 和 backward 方法，通过将数据正向和反向地传播，可以高效地计算权重参数的梯度。通过使用层进行模块化，神经网络中可以自由地组装层，轻松构建出自己喜欢的网络。

本章所学的内容

通过使用计算图，可以直观地把握计算过程。

计算图的节点是由局部计算构成的。局部计算构成全局计算。

计算图的正向传播进行一般的计算。通过计算图的反向传播，可以计算各个节点的导数。

通过将神经网络的组成元素实现为层，可以高效地计算梯度（反向传播法）。

通过比较数值微分和误差反向传播法的结果，可以确认误差反向传播法的实现是否正确（梯度确认）。