反向传播中sigmoid导数输入的混淆

Question

当使用链式法则计算成本函数相对于层权重的斜率时，公式变为：

d C0/d W（L）=...。d a（L）/d z（L）。...

与：

作为感应局部场：z（L）=w1（L）*a1（L-1）w2（L）*a2（L-1）*

a（L）输出端：a（L）=

<代码>

请注意，L被视为层指示符，而不是索引



现在：
代码>d a（L）/d z（L）=

带<代码>

问题是：

但在这篇由James Loy撰写的关于用python从头开始构建简单神经网络的帖子中，
在进行反向传播时，他没有将z（L）作为输入

def feedforward(self):
        self.layer1 = sigmoid(np.dot(self.input, self.weights1))
        self.output = sigmoid(np.dot(self.layer1, self.weights2))

def backprop(self):
        # application of the chain rule to find derivative of the loss function with respect to weights2 and weights1
        d_weights2 = np.dot(self.layer1.T, (2*(self.y - self.output) * sigmoid_derivative(self.output)))

请注意，在层上方的代码中，层是最后一层或输出层。和sigmoid\u导数（自输出）这是当前层的激活作为用作激活函数的sigmoid函数导数的输入。

问题是：

我们不应该使用这个sigmoid\u导数（np.dot（self.layer1，self.weights2））而不是这个sigmoid\u导数（self.output）？

Answer 1

你是对的——看起来作者犯了一个错误。我会解释：当网络使用前向传递（所有激活损失）完成时，您必须使用梯度下降来根据损失函数最小化权重。为此，您需要损失函数相对于每个权重矩阵的偏导数。

在我继续之前，请先记下一些符号：loss是L，A是activation（又名sigmoid），Z是指净输入，换句话说，是W的结果。X。数字是索引，因此A1表示第一层的激活。

您可以使用链规则在网络中向后移动，并将权重表示为损失的函数。要开始反向传递，首先要获得损失相对于最后一层激活的导数。这是dL/dA2，因为第二层是最后一层。要更新第二层的权重，我们需要完成dA2/dZ2和dZ/dW2。

在继续之前，请记住第二层的激活是A2=sigmoid（W2. A1）和Z2=W2. A1。为了清楚起见，我们将编写A2=sigmoid（Z2）。将Z2视为它自己的变量。因此，如果您计算dA2/dZ2，您会得到sigmoid_derivative（Z2），即sigmoid_derivative（W2. A1）或sigmoid_derivative（np.dot（self.layer1，self.weights2））。所以它不应该是sigmoid_derivative（self.output），因为输出是由sigmoid激活的。

Answer 2

你想对输出使用导数。在反向传播过程中，我们仅使用权重来确定误差有多大属于每个权重，通过这样做，我们可以进一步将误差传播回各个层。

在本教程中，sigmoid应用于最后一层：

self.output = sigmoid(np.dot(self.layer1, self.weights2))

根据您的问题：

我们不应该使用这个sigmoid\u导数（np.dot（self.layer1，self.weights2））而不是这个sigmoid\u导数（self.output）？

您不能执行以下操作：

sigmoid_derivative(np.dot(self.layer1, self.weights2))

因为在这里，当你还没有应用它的时候，你试图得到S形的导数。

这就是为什么您必须使用：

sigmoid_derivative(self.output)

Answer 3

原来<代码>

这是sigmoid\u导数的代码：

def sigmoid(x):
    return 1.0/(1+ np.exp(-x))

def sigmoid_derivative(x):
    return x * (1.0 - x)

sigmoid\u导数的数学公式可以写成：

因此，要获得上述公式，<代码>