如何并行简单的线性回归与梯度下降-使用Numpy？

Question

我有麻烦使用Numpy来并行化下面的循环（get_new_weights）。我update_weights第一次尝试df_dm，重量完全错了。第二次尝试df_dm时，我的体重超过了最佳体重。

注-偏差为单个数字，权重为单个数字（单变量线性回归），X为形状（442,1），y为形状（442,1）。还要注意的是，更新我的偏差项在更新权重中非常有效——它只是更新我遇到麻烦的权重。

# This is the for loop that I am trying to parallelize with numpy:
def get_new_weights(X, y, weight, bias, learning_rate=0.01):
    weight_deriv = 0
    bias_deriv = 0
    total = len(X)
    for i in range(total):
        # -2x(y - (mx + b))
        weight_deriv += -2*X[i] * (y[i] - (weight*X[i] + bias))
        # -2(y - (mx + b))
        bias_deriv += -2*(y[i] - (weight*X[i] + bias))

    weight -= (weight_deriv / total) * learning_rate
    bias -= (bias_deriv / total) * learning_rate
    return weight, bias

# This is my attempt at parallelization
def update_weights(X, y, weight, bias, lr=0.01):
    df_dm = np.average(-2*X * (y-(weight*X+bias))) # this was my first guess
    # df_dm = np.average(np.dot((-X).T, ((weight*X+bias)-y))) # this was my second guess
    df_db = np.average(-2*(y-(weight*X+bias)))
    weight = weight - (lr*df_dm)
    bias = bias - (lr*df_db)
    return weight,bias

Answer 1

谢谢大家看了我的问题。我松散地使用术语并行化来指代我正在寻找的运行时优化，它消除了对for循环的需要。这个问题的答案是：

df_dm = (1/len(X)) * np.dot((-2*X).T, (y-(weight*X+bias)))

这里的问题是确保中间步骤产生的所有数组具有正确的形状。对于那些对这两个函数之间的运行时差异感兴趣的人来说：for循环花费的时间要长10倍。