卷积网络滤波器总是负的

Question

我问了一个关于我上周建立的一个网络的问题，我重复了一些建议，这些建议导致我发现了一些问题。我回到这个项目，解决了所有问题，并在这个过程中了解了更多关于CNN的信息。现在我陷入了一个问题：我所有的权重都变成了巨大的负值，再加上输出图像中的RELU端总是完全是黑色的（这使得分类器无法完成它的工作）。

在两个标记的图像上：

这些数据被传递到一个两层网络、一个分类器（它自己获得100%）和一个单过滤器3×3卷积层。

在第一次迭代中，conv层的输出如下所示（图像顺序与上面相同）：

由于图像为RGB，因此滤波器为3×3×3。权重均为0.0f-1.0f之间的随机数。在下一次迭代中，图像是完全黑色的，打印过滤器显示它们现在的范围是-49678.5f（我能看到的最高值）和-61932.3f。

这一问题又是由于从逻辑回归/线性层传回的梯度对于交叉来说非常高（标签0，预测0）。对于圆（标签1，预测0），值大约在-12和-5之间，但对于十字，它们都在正高1000到正高2000范围内。

发送这些信息的代码如下所示（某些部分省略）：

void LinearClassifier::Train(float * x,float output, float y)
{
    float h = output - y;
    float average = 0.0f;
    for (int i =1; i < m_NumberOfWeights; ++i)
    {
        float error = h*x[i-1];
        m_pGradients[i-1] = error;
        average += error;
    }

    average /= static_cast<float>(m_NumberOfWeights-1);

    for (int theta = 1; theta < m_NumberOfWeights; ++theta)
    {
        m_pWeights[theta] = m_pWeights[theta] - learningRate*m_pGradients[theta-1];
    }

    // Bias
    m_pWeights[0] -= learningRate*average;
}

这将传递回单个卷积层：

// This code is in three nested for loops (for layer,for outWidth, for outHeight)
float gradient = 0.0f;
// ReLu Derivative
if ( m_pOutputBuffer[outputIndex] > 0.0f) 
{
    gradient = outputGradients[outputIndex];
}

for (int z = 0; z < m_InputDepth; ++z)
{
    for ( int u = 0; u < m_FilterSize; ++u)
    {
        for ( int v = 0; v < m_FilterSize; ++v)
        {
            int x = outX + u - 1;
            int y = outY + v - 1;

            int inputIndex = x + y*m_OutputWidth + z*m_OutputWidth*m_OutputHeight;

            int kernelIndex = u + v*m_FilterSize + z*m_FilterSize*m_FilterSize;

            m_pGradients[inputIndex] += m_Filters[layer][kernelIndex]*gradient;
            m_GradientSum[layer][kernelIndex] += input[inputIndex]*gradient;
        }
    }
}

通过以一次一个的方式传递每个图像来迭代此代码。梯度显然朝着正确的方向发展，但如何阻止巨大的梯度抛出预测函数呢？

Answer 1

我通过缩小CNN层的梯度来解决这个问题，但现在我不明白为什么需要这样做，所以如果有人有任何直觉知道为什么这样做会很好。

Answer 2

RELU的激活在这方面是出了名的。你通常不得不使用较低的学习率。这背后的原因是，当RELU返回正数时，它可以继续自由学习，但当一个单元返回一个非常低的数字时，它可能会变成一个“死”神经元，永远不会再激活。如果你有一个系统，正数可以自由变化，但低于某个阈值的负数有可能被“卡住”，如果可以达到这个最低阈值，系统最终将完全卡住。

此外，对RELU神经元来说，初始化体重也是非常微妙的。您似乎正在初始化范围0-1，这会产生巨大的偏差。这里有两个提示-使用以0为中心的范围和更小的范围。类似于（-0.1）-（0.1）

另一件事是，根据我的经验，RELU单元似乎在困难的任务（如Imagenet分类）中更有用。尝试一下TanH单位。你初始化体重和学习速度的方式并没有那么微妙。