深度学习优化算法大全系列3:NAG(Nesterov Acceleration Gradient)
1.NAG与SGD-M的区别
NAG全称为Nesterov Accelerated Gradient，是在SGD-Momentum基础进一步优化所得。
前面的文章我们提到过，SGD-M主要是利用历史累积动量来代替当前梯度从而达到减小震荡，加速收敛的目的。而NAG与SGD-M的区别在于，在计算当前梯度的时候，先跟随历史累积动量前进一步，然后再看下一步怎么走。
2.算法流程
假定初始参数为 θ \theta θ，初始动量 v v v，动量超参数为 α \alpha α，梯度超参数为 ϵ \epsilon ϵ，则整个NAG算法流程如下：
1.从训练集中采样m个样本
x
(
1
)
x^{(1)}
x(1),
x
(
2
)
x^{(2)}
x(2)…,
x
(
m
)
x^{(m)}
x(m)，对应的标签为
y
(
i
)
y^{(i)}
y(i)。
2.计算当前梯度之前先走一步：
θ
^
=
θ
+
α
v
\hat \theta = \theta + \alpha v
θ^=θ+αv
3.计算当前梯度：
g
=
▽
θ
∑
i
L
(
f
(
x
(
i
)
;
θ
^
)
,
y
(
i
)
)
g = \bigtriangledown_\theta \sum_i L(f(x^{(i)}; \hat \theta), y^{(i)})
g=▽θ∑iL(f(x(i);θ^),y(i))
4.计算动量更新：
v
=
α
v
−
ϵ
g
v = \alpha v - \epsilon g
v=αv−ϵg
5.参数更新
θ
=
θ
+
v
\theta = \theta + v
θ=θ+v
从上面的流程不难看出，NAG与SGD-M的区别就在第二步，其他都一样。