我的反向传播算法实现有什么问题？

Question

我试图实现一个无隐层神经网络来破解MNIST数据集。

我使用sigmoid作为激活函数，交叉熵作为损失函数。

为了简单起见，我的网络没有隐藏层，只有输入和输出。

X = trainImage
label = trainLabel

w1 = np.random.normal(np.zeros([28 * 28, 10]))
b1 = np.random.normal(np.zeros([10]))

def sigm(x):
    return 1 / (1 + np.exp(-x))

def acc():
    y = sigm(np.matmul(X, w1))
    return sum(np.argmax(label, 1) == np.argmax(y, 1)) / y.shape[0]

def loss():
    y = sigm(np.matmul(X, w1))
    return sum((-label * np.log(y)).flatten())

a = np.matmul(X[0:1], w1)

y = sigm(a)

dy = - label[0:1] / y

ds = dy * y * (1 - y)

dw = np.matmul(X[0:1].transpose(), ds)

db = ds

def bp(lr, i):
    global w1, b1, a, y, dy, ds, dw, db
    a = np.matmul(X[i:i+1], w1)
    y = sigm(a)
    dy = - label[0:1] / y
    ds = dy * y * (1 - y)
    dw = np.matmul(X[i:i+1].transpose(), ds)
    db = ds
    w1 = w1 - lr * dw
    b1 = b1 - lr * db

for i in range(100 * 60000):
    bp(1, i % 60000)
    if i % 60000 == 0:
        print("#", int(i / 60000), "loss:", loss(), "acc:", acc())

这是我实现反向传播算法的一部分，但它没有按预期工作。损失函数的下降速度非常慢（我尝试了学习率从0.001到1的变化），准确度永远不会超过0.1。

输出如下：

# 0 loss: 279788.368245 acc: 0.0903333333333
# 1 loss: 279788.355211 acc: 0.09035
# 2 loss: 279788.350629 acc: 0.09035
# 3 loss: 279788.348228 acc: 0.09035
# 4 loss: 279788.346736 acc: 0.09035
# 5 loss: 279788.345715 acc: 0.09035
# 6 loss: 279788.344969 acc: 0.09035
# 7 loss: 279788.3444 acc: 0.09035
# 8 loss: 279788.343951 acc: 0.09035
# 9 loss: 279788.343587 acc: 0.09035
# 10 loss: 279788.343286 acc: 0.09035
# 11 loss: 279788.343033 acc: 0.09035

Answer 1

从我在这里看到的情况来看，有一些可能的因素阻碍了这一点的发挥。

首先，您必须随机初始化您的权重和偏差。据我所知，您正在尝试更改一个还没有有形值的值（例如：w1=0）。

其次，您的优化器不适合MNIST数据集。优化器是基于反向传播更改值的工具，因此选择正确的优化器非常重要。梯度下降更适合这个数据集，从我所看到的，您没有使用梯度下降。如果你试图用你的代码做一个梯度下降优化器，你很可能做错了。梯度下降涉及SSE（平方误差和）的偏导数，我在这段代码中没有看到。

如果您想使用梯度下降优化器，除了实现梯度下降背后的数学，您还必须对代码进行一些更改。您必须使用ReLU激活函数（我建议您无论如何都这样做），而不是sigmoid函数。这将确保不会出现消失梯度问题。此外，你应该使损失函数成为交叉熵的约化平均值。这样优化器将更加有效。

希望这有帮助。