输出神经元的错误值是否不正确？

Question

我使用全连接神经网络进行图像识别“MNIST”。

我的网络有784个输入神经元，一个隐层由1569个神经元组成，一个输出层由10个神经元组成。

我有两个问题：

如果隐层中神经元的加权和变得太大，结果是1，那么使用sigmoid是正确的吗？要初始化权重的值是什么？

Answer 1

通常情况下，在0.01到0.5这样的随机范围内初始化权重，我会体验到良好的结果。

1：据我所知，输出层的本地错误通常是expectedoutput-currentoutput，因为这个简化的语句从来不会失败，而且有足够的准确性。在此之后，对于完全连接的层，您使用反向传播来调整隐藏层的权重。参见Yann Lecuns为高效工作：高效后支柱

2：为了防止输出层的输入值为1，因为hiddens层的总和太大，而sigmoid在大量的时间内都是1，您可以做一个简单、容易、有效的操作：总是将每个输出层神经元的输入值与父（隐藏）层中的神经元数相除，因此在使用sigmoid传递函数之前，您的输入值总是在区间[-1.0,1.0]内。在大多数情况下，这一技巧大大减少了训练网络所需的历元数量。