基于RELU的神经网络反向传播

Question

我正在尝试用RELU实现神经网络。

输入层-

以上是我的神经网络结构。我对这个relu的反向传播感到困惑。对于RELU的导数，如果x

有人能解释一下我的神经网络架构的反向传播“一步一步”吗？

Answer 1

下面是一个很好的示例，使用ReLU实现XOR:reference，http://pytorch.org/tutorials/beginner/pytorch_with_examples.html

# -*- coding: utf-8 -*-
import numpy as np
import matplotlib.pyplot as plt

# N is batch size(sample size); D_in is input dimension;
# H is hidden dimension; D_out is output dimension.
N, D_in, H, D_out = 4, 2, 30, 1

# Create random input and output data
x = np.array([[0, 0], [0, 1], [1, 0], [1, 1]])
y = np.array([[0], [1], [1], [0]])

# Randomly initialize weights
w1 = np.random.randn(D_in, H)
w2 = np.random.randn(H, D_out)

learning_rate = 0.002
loss_col = []
for t in range(200):
    # Forward pass: compute predicted y
    h = x.dot(w1)
    h_relu = np.maximum(h, 0)  # using ReLU as activate function
    y_pred = h_relu.dot(w2)

    # Compute and print loss
    loss = np.square(y_pred - y).sum() # loss function
    loss_col.append(loss)
    print(t, loss, y_pred)

    # Backprop to compute gradients of w1 and w2 with respect to loss
    grad_y_pred = 2.0 * (y_pred - y) # the last layer's error
    grad_w2 = h_relu.T.dot(grad_y_pred)
    grad_h_relu = grad_y_pred.dot(w2.T) # the second laye's error 
    grad_h = grad_h_relu.copy()
    grad_h[h < 0] = 0  # the derivate of ReLU
    grad_w1 = x.T.dot(grad_h)

    # Update weights
    w1 -= learning_rate * grad_w1
    w2 -= learning_rate * grad_w2

plt.plot(loss_col)
plt.show()

关于ReLU的导数，您可以在这里看到：http://kawahara.ca/what-is-the-derivative-of-relu/

Answer 2

如果你有一个由单个ReLU组成的层，就像你的架构所建议的那样，那么是的，你可以在0处消除梯度。在训练期间，ReLU将返回到输出层，如果您使用后勤部队，输出层将返回0或0.5，softmax将挤压这些输出层。因此，在当前架构下，值为0对前向传播部分也没有多大意义。

请看这个例子。您可以做的是使用“泄漏ReLU”，它是0处的一个小值，例如0.01。

我会重新考虑这个架构，但是，将单个ReLU馈入一堆其他单元然后应用softmax对我来说没有多大意义。

Answer 3

如果x

ReLU函数定义为：对于x

对于导数f’（x），它实际上是：

如果x

导数f'（0）没有定义。所以它通常设置为0，或者您将激活函数修改为f（x）=max（e， x）对于小e。

通常：ReLU是使用整流器激活功能的装置。这意味着它的工作原理与任何其他隐藏层完全相同，但除了tanh（x）、sigmoid（x）或您使用的任何激活之外，您将使用f（x）=max（0，x）。

如果您已经为具有sigmoid激活的工作多层网络编写了代码，那么实际上只有一行更改。没有关于算法上的前向或反向传播更改。如果您还没有让更简单的模型工作，请返回并首先开始。否则，您的问题实际上不是关于ReLU，而是关于实现整个NN。