MNIST-培训卡住了

Question

我正在阅读神经网络和深度学习（前两章），我正在尝试跟进并构建自己的ANN以从MNIST数据集中对数字进行分类。

我已经抓耳挠腮好几天了，因为我的实现在从测试集中分类数字时达到了约57%的准确率（有些5734/10000)在10个纪元后（训练集的准确率在第10个纪元后停滞不前，测试集的准确率可能会因为过度拟合而恶化）。

我使用与书中几乎相同的配置：所有层完全连接的2层前馈ANN（784-30-10）；标准乙状结肠激活函数；二次代价函数；权重以相同的方式初始化（取自均值为0和均方差为1的高斯分布）唯一的区别是我使用在线训练而不是批量/小批量训练，学习率为1.0而不是3.0（不过我尝试过3.0的小批量训练学习率）

反向传播算法产生的结果示例：

使用与上述配置相同的简单前馈网络（在线训练学习率为1.0）：3个输入神经元、2个隐藏神经元和1个输出神经元。

初始权重初始化如下：

Layer #0 (3 neurons)

Layer #1 (2 neurons)
  - Neuron #1: weights=[0.1, 0.15, 0.2] bias=0.25
  - Neuron #2: weights=[0.3, 0.35, 0.4] bias=0.45

Layer #2 (1 neuron)
  - Neuron #1: weights=[0.5, 0.55] bias=0.6

如果输入值为[0.0、0.5、1.0]，则输出值为0.78900331。对于相同的输入和1.0的期望输出，反向传播得到以下偏导数（dw=导数wrt权重，db=导数wrt偏差）：

Layer #0 (3 neurons)

Layer #1 (2 neurons)
  - Neuron #1: dw=[0, 0.0066968054, 0.013393611] db=0.013393611
  - Neuron #2: dw=[0, 0.0061298212, 0.012259642] db=0.012259642

Layer #2 (1 neuron)
  - Neuron #1: dw=[0.072069918, 0.084415339] db=0.11470326

用这些偏导数更新网络后，校正后的输出值为0.74862305。

如果有人愿意确认上述结果，这将对我帮助很大，因为我已经排除了反向传播是错误的这一问题的原因。

有人在解决MNIST问题时遇到过这个问题吗？即使是我应该检查的建议也会有所帮助，因为我在这里真的迷路了。

Answer 1

Doh。。

我的反向传播实现没有问题。。。

问题是我将图像读取到一个有符号字符（C）数组中，像素值溢出，因此当我除以255.0将输入向量规格化为0.0-1.0范围时，实际上得到了负值…；-；

因此，基本上我花了大约四天的时间调试和重新实现相同的东西，而问题完全在其他地方。