在什么情况下，在神经网络中使用偏差可能没有好处？

Question

我目前正在阅读迈克尔·尼尔森的电子书《神经网络与深度学习》，并运行了第1章末尾的代码，该代码训练神经网络识别手写数字（稍作修改，使反向传播算法基于小批量矩阵）。

然而，在运行此代码并实现略低于94%的分类准确率后，我决定从网络中删除偏见的使用。重新训练修改后的网络后，我发现分类准确率没有差异！

NB：该网络的输出层包含10个神经元；如果这些神经元的第i个具有最高的激活率，则输入被归类为数字i。

这让我想知道为什么有必要在神经网络中使用偏差，而不仅仅是权重，以及偏差会提高网络性能的任务和不会提高网络性能的任务之间的区别是什么？

我的代码可以在这里找到：https://github.com/pipthagoras/neural-network-1

Answer 1

偏差用于解释基础数据可能未居中这一事实。在线性回归的情况下，可以更清楚地看到这一点。

如果在没有截距（或偏差）的情况下进行回归，则会强制基础模型通过原点，如果基础数据未居中（例如，如果真正的生成过程为Y=3000），则会导致模型不佳。另一方面，如果你的数据居中或接近居中，那么消除偏差是好的，因为你不会引入一个事实上独立于预测变量的术语（这就像选择一个更简单的模型，如果它实际反映了基础数据，则会更容易概括）。