理解Michael Nielsen的反向传播代码

Question

我正在尝试理解/运行迈克尔·尼尔森（Michael Neilsen）的《神经网络与深度学习》（Neural Networks and Deep Learning）第2章中关于反向传播的代码：http://neuralnetworksanddeeplearning.com/chap2.html#the_code_for_backpropagation.

在向后传球开始时，它有：

delta = self.cost_derivative(activations[-1], y) * \
    sigmoid_prime(zs[-1])
nabla_b[-1] = delta
nabla_w[-1] = np.dot(delta, activations[-2].transpose())

前向传递创建激活列表，其中激活[i]包含层i中神经元激活的向量。因此激活[-1]是最后一层。y是所需的输出。

成本衍生产品定义如下：

def cost_derivative(self, output_activations, y):
"""Return the vector of partial derivatives \partial C_x /
\partial a for the output activations."""
return (output_activations-y)

因此，第一行输出一个与输出层形状相同的向量。所以我的问题是，这是怎样的np。第四行的点应该有效吗？我的理解是，激活[-2]是第二层到最后一层神经元激活的向量，可以有任意数量的神经元，因此我不确定我们如何将其与具有输出层形状的三角形点积（或其转置）。

我运行了代码(https://github.com/mnielsen/neural-networks-and-deep-learning/blob/master/src/network.py)为了理解这一点，添加了一些调试行，但似乎不起作用：

>>> from network import *; net = Network([2,1,2])
>>> net.backprop([1,2], [3,4])

Activations[0]
[1, 2]

Activations[1]
[[ 0.33579893]]

Activations[2]
[[ 0.37944698]
 [ 0.45005939]]

Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "<snip>/neural-networks-and-deep-learning/src/network.py", line 117, in backprop
    nabla_w[-1] = np.dot(delta, activations[-2].transpose())
ValueError: shapes (2,2) and (1,1) not aligned: 2 (dim 1) != 1 (dim 0)

<代码>激活看起来和我预期的完全一样-2次激活，然后1次，然后2次。失败就在眼前，我不清楚，正如我所料，失败了。但是，大概这本书中的代码已经过测试（这本书很好），我一定是做错了什么。我当时正在编写一个独立的实现，遇到了同一个问题，所以我希望能够将此代码分解以找出答案，但我不知道这应该如何工作，也不知道它为什么适合作者。

如果你能了解我在这里遗漏了什么，我将不胜感激。谢谢！：）

Answer 1

假设网络架构为，[…，N，M][/code>，即最后一层输出大小向量，之前的一层输出大小向量（让我们关注最后两层，忽略其余部分）N和M可以是任意的。另外，让我们忽略批处理，就像您的问题一样：我们只提供一个输入和一个标签。

在这种情况下，最后的权重矩阵，即<代码>自我。权重[-1]将具有形状，因此必须是nabla\u w[-1]才能正确执行更新。现在：

• 增量将具有形状（与输出相对应）

因为在numpy中，形状（2，）与[1,2]或[2,1]不同：

>>> np.array([1, 2]).shape
(2,)

网络架构区分了x和y的行和列，您必须提供两者的正确形状才能使其工作。否则，您将获得意外的广播和形状不匹配。试试这个例子看看它的作用：

net = Network([2,1,2])
x = np.array([1, 2]).reshape([2, 1])  # one example of size 2
y = np.array([3, 4]).reshape([2, 1])  # one example of size 2
net.backprop(x, y)