多变量线性回归的梯度下降法

Question

好的，那么这个算法到底意味着什么呢？

据我所知：

i） 阿尔法：梯度下降的步骤有多大。

ii）现在，∑{hTheta[x（i）]-y（i）}：指给定θ值的总误差。

误差是指预测值{hTheta[x（i）]}与实际值之间的差值。[y（i）]

σ{hTheta[x（i）]-y（i）}给出了所有训练示例中所有误差的总和。

结尾的Xj^（i）代表什么？

在为多元线性回归实现梯度下降时，我们是否在执行以下操作？

θ（j）减：

>

阿尔法

乘以1/m

次数：

{第一个训练示例的错误乘以第一个训练示例的jth元素。加号

第二个训练示例的第j个元素乘以第二个训练示例的错误。加

.

.

.

加上第n个训练示例的误差乘以第n个训练示例的第j个元素。}

Answer 1

梯度下降法是一种寻找函数最小值的迭代算法。当给定一个凸函数时，保证在给定足够小的alpha的情况下找到该函数的全局最小值。这里是梯度下降算法，用于寻找函数J的最小值：

其思想是以学习速率alpha沿梯度的相反方向移动参数。最终它将下降到函数的最小值。

我们可以为θ的每个轴重写此参数更新：

在多元线性回归中，优化的目标是最小化平方误差之和：

这个代价函数的偏导数可以用代换微分法来推导，其中我们使用初等幂律，将幂2减为1，将2作为系数，去掉1/2系数。然后我们把h（x）的导数放到θ，右边是x。

这里，x_j^（i）代表h_theta（x^（i））到theta_j的偏导数。x_j^（i）是第i个数据的第j个元素。