线性回归不收敛的梯度下降

Question

我用JavaScript实现了一个非常简单的线性回归和梯度下降算法，但是在查阅了多个源代码并尝试了几件事情之后，我无法使它收敛。

数据是绝对线性的，只是数字0到30作为输入，x*3作为正确的输出来学习。

这就是梯度下降背后的逻辑：

train(input, output) {
  const predictedOutput = this.predict(input);
  const delta = output - predictedOutput;

  this.m += this.learningRate * delta * input;
  this.b += this.learningRate * delta;
}

predict(x) {
  return x * this.m + this.b;
}

我从不同的地方取了公式，包括：

• 乌达城深度学习基金会纳米学位的练习
• 吴恩达的线性回归梯度下降课程（也在这里）
• 斯坦福CS229讲义
• 我从卡内基梅隆大学找到的其他PDF幻灯片

我已经试过了：

• 将输入和输出值标准化为[-1,1]范围
• 将输入和输出值标准化为[0,1]范围
• 规范化输入和输出值，使其平均值为0，标准差为1
• 降低学习率（1e-7与我之前一样低）
• 具有完全没有偏差的线性数据集（y=x*3）
• 具有非零偏差的线性数据集（y=x*32）
• 使用-1和1之间的随机非零值初始化权重

然而，权重（this. b和this. m）不接近任何数据值，并且它们发散为无穷大。

我显然做错了什么，但我不知道是什么。

更新：这里有更多的上下文，可能有助于找出我的问题到底是什么：

我试图通过线性回归伪神经元的在线学习来建模线性函数的简单近似。因此，我的参数是：

• 权重：[code>this.m，this.b][/li>

因此，我的净值将用y=表示。这个。b*1，模拟我想要近似的数据驱动函数（y=3*x）。

我想要的是让我的网络“了解”这个参数。m=3和。b=0，但我似乎陷入了局部极小值。

我的误差函数是均方误差：

error(allInputs, allOutputs) {
  let error = 0;
  for (let i = 0; i < allInputs.length; i++) {
    const x = allInputs[i];
    const y = allOutputs[i];
    const predictedOutput = this.predict(x);
    const delta = y - predictedOutput;

    error += delta * delta;
  }

  return error / allInputs.length;
}

我更新权重的逻辑是（根据我到目前为止检查的来源）wi-=alpha*dError/dwi

为了简单起见，我将把我的权重称为this. m和this. b，这样我们就可以把它与我的JavaScript代码联系起来。我还将调用y^的预测值。

从这里开始：

error = y - y^
      = y - this.m * x + this.b

dError/dm = -x
dError/db = 1

因此，将其应用于权重校正逻辑：

this.m += alpha * x
this.b -= alpha * 1

但这似乎根本不正确。




Answer 1

我终于找到了问题的症结所在，我现在回答我自己的问题，希望它也能帮助这方面的初学者。

首先，正如萨沙所说，我有一些理论上的误解。您的调整包括输入值逐字逐句，这可能是正确的，但正如他所说的，它应该已经是渐变的一部分。这一切都取决于您对错误函数的选择。

你的误差函数将是衡量你用什么来衡量你与真实值的差距，这种衡量需要保持一致。我使用均方误差作为度量工具（如您在我的误差方法中看到的），但我在训练方法中使用纯绝对误差（y^-y）来度量误差。您的梯度将取决于此错误函数的选择。所以只选择一个并坚持下去。

第二，简化你的假设，以测试什么是错误的。在本例中，我非常清楚要近似的函数是什么（y=x*3），因此我手动将权重（this.b和this.m）设置为正确的值，并且仍然看到了误差偏差。这意味着在这种情况下，权重初始化不是问题。

在进一步搜索之后，我的错误出现在其他地方：将数据送入网络的函数错误地将一个3硬编码值传递到预测输出中（它在数组中使用了错误的索引），因此我看到的振荡是因为网络试图接近y=0*x 3（this.b=3和this.m=0），但由于学习率低和误差函数导数中的误差，this.b无法接近正确的值，使得this.m进行大范围跳跃以适应它。

最后，在您的网络训练过程中跟踪错误测量，这样您就可以对正在发生的事情有一些了解。这有助于识别简单的过度拟合、高学习率和简单错误之间的差异。