本章我们介绍了神经网络的学习中的几个重要技巧。参数的更新方法、权重初始值的赋值方法、Batch Normalization、Dropout 等,这些都是现代神经网络中不可或缺的技术。另外,这里介绍的技巧,在最先进的深度学习中也被频繁使用。
本章所学的内容
参数的更新方法,除了 SGD 之外,还有Momentum、AdaGrad、Adam等方法。
权重初始值的赋值方法对进行正确的学习非常重要。
作为权重初始值,Xavier 初始值、He初始值等比较有效。
通过使用 Batch Normalization,可以加速学习,并且对初始值变得健壮。
抑制过拟合的正则化技术有权值衰减、Dropout等。
逐渐缩小好值存在的范围是搜索超参数的一个有效方法。