Y截距在线性回归梯度下降中不改变

Question

我目前正在学习梯度下降，所以我写了一段代码，使用梯度下降和线性回归。然而，我得到的这条线并不是最好的。我计算了梯度下降线性回归和最小二乘误差回归的误差。无论我使用什么数据，最小二乘误差总是给我一个更低的误差。我决定看一看斜坡和y截距。使用梯度下降的y截距总是非常接近于零，好像它没有正确地改变。我觉得这很奇怪，我不知道发生了什么。我是否错误地实现了梯度下降？

import matplotlib.pyplot as plt
datax=[]
datay=[]
def gradient(b_current,m_current,learningRate):
    bgradient=0
    mgradient=0
    N=float(len(datax))
    for i in range(0,len(datax)):
        bgradient+= (-2/N)*(datay[i]-((m_current*datax[i])+b_current))
        mgradient+= (-2/N)*datax[i]*(datay[i]-((m_current*datax[i])+b_current))
    newb=b_current-(bgradient*learningRate)
    newm=m_current-(mgradient*learningRate)
    return newm,newb
def basic_linear_regression(x, y):
    # Basic computations to save a little time.
    length = len(x)
    sum_x = sum(x)
    sum_y = sum(y)

    # sigma x^2, and sigma xy respectively.
    sum_x_squared = sum(map(lambda a: a * a, x))
    sum_of_products = sum([x[i] * y[i] for i in range(length)])

    # Magic formulae!  
    a = (sum_of_products - (sum_x * sum_y) / length) / (sum_x_squared - ((sum_x ** 2) / length))
    b = (sum_y - a * sum_x) / length
    return a, b

def error(m,b,datax,datay):
    error=0
    for i in range(0,len(datax)):
        error+=(datay[i]-(m*datax[i]+b))
    return error/len(datax)
def run():
    m=0
    b=0
    iterations=1000
    learningRate=.00001
    for i in range(0,iterations):
        m,b=gradient(b,m,learningRate)

    print(m,b)
    c,d=basic_linear_regression(datax,datay)
    print(c,d)
    gradientdescent=error(m,b,datax,datay)
    leastsquarederrors=error(c,d,datax,datay)
    print(gradientdescent)
    print(leastsquarederrors)
    plt.scatter(datax,datay)
    plt.plot([0,300],[b,300*m+b])
    plt.axis('equal')
    plt.show()

run() 

Answer 1

我见过学习率有时在0.01的范围内。这可能是您需要1000多次迭代的原因，因为您的学习率是0.00001，除非您的数据集很小。学习速率越小，收敛所需的迭代就越多。

我注意到的另一件事是，您正在修复迭代次数。在第1000次迭代时，您永远无法判断成本函数是否将达到/接近全局最小值。尤其是在学习率如此之低的情况下，如果需要超过1000次迭代，该怎么办？为了解决这个问题-尝试使用while循环，在这个循环中，添加一个成本函数差（delta J）的计算，并保持循环直到（delta J