使用梯度下降实现线性回归

Question

我试图实现梯度下降的线性回归，如本文（https://towardsdatascience.com/linear-regression-using-gradient-descent-97a6c8700931）所述。我已经严格遵循了实现，但是经过几次迭代后，我的结果会溢出。我试图得到这个结果大约： y=-0.02x 8499.6。

代码：

package main

import (
    "encoding/csv"
    "fmt"
    "strconv"
    "strings"
)

const (
    iterations = 1000
    learningRate = 0.0001
)

func computePrice(m, x, c float64) float64 {
    return m * x + c
}

func computeThetas(data [][]float64, m, c float64) (float64, float64) {
    N := float64(len(data))
    dm, dc := 0.0, 0.0
    for _, dataField := range data {
        x := dataField[0]
        y := dataField[1]
        yPred := computePrice(m, x, c)
        dm += (y - yPred) * x
        dc += y - yPred
    }

    dm *= -2/N
    dc *= -2/N
    return m - learningRate * dm, c - learningRate * dc
}

func main() {
    data := readXY()
    m, c := 0.0, 0.0
    for k := 0; k < iterations; k++ {
        m, c = computeThetas(data, m, c)
    }
    fmt.Printf("%.4fx + %.4f\n", m, c)
}

func readXY() ([][]float64) {
    file := strings.NewReader(data)

    reader := csv.NewReader(file)
    records, err := reader.ReadAll()
    if err != nil {
        panic(err)
    }
    records = records[1:]
    size := len(records)
    data := make([][]float64, size)
    for i, v := range records {
        val1, err := strconv.ParseFloat(v[0], 64)
        if err != nil {
            panic(err)
        }
        val2, err := strconv.ParseFloat(v[1], 64)
        if err != nil {
            panic(err)
        }
        data[i] = []float64{val1, val2}
    }
    return data
}

var data = `km,price
240000,3650
139800,3800
150500,4400
185530,4450
176000,5250
114800,5350
166800,5800
89000,5990
144500,5999
84000,6200
82029,6390
63060,6390
74000,6600
97500,6800
67000,6800
76025,6900
48235,6900
93000,6990
60949,7490
65674,7555
54000,7990
68500,7990
22899,7990
61789,8290`

在这里，它可以在围棋场上工作：https://play.golang.org/p/2CdNbk9_WeY

我需要修正什么才能得到正确的结果？

Answer 1

为什么公式只适用于一个数据集而不适用于另一个数据集？

除了sascha的评论之外，这里还有另一种看待梯度下降应用问题的方法：该算法不能保证迭代产生比前一次更好的结果，因此它不一定会收敛到一个结果，因为：

• 轴m和c中的梯度dm和dc彼此独立处理<根据dm在下降方向上更新code>m，同时根据dc在下降方向上更新c-但是，对于某些曲面z=f（m，c），轴m和c之间方向上的梯度可以与m和c本身具有相反的符号，因此，当更新m或c中的任何一个时，更新两者都会偏离最佳值