SkikitLearn学习曲线强烈依赖于MLPClassizer的批量大小？？？或者：如何诊断NN的偏差/方差？

Question

我目前正在研究一个分类问题，在ScikitLearn中有两个类，分别是adam和activation relu。为了探索我的分类器是否存在高偏差或高方差，我使用Scikitlearns内置函数绘制了学习曲线：

https://scikit-learn.org/stable/auto_examples/model_selection/plot_learning_curve.html

我正在使用具有8个拆分的分组K_Fold交叉验证。然而，我发现我的学习曲线强烈依赖于分类器的批次大小：

https://imgur.com/a/FOaWKN1

应该是这样吗？我认为学习曲线解决的是依赖于独立于任何批次/时期的训练数据部分的准确度分数？我是否可以将此内置函数用于批处理方法？如果是，我应该选择哪个批次大小（完整批次或批次大小=培训示例数或介于两者之间的数量）以及我从中得到的诊断是什么？或者，您通常如何诊断神经网络分类器的偏差/方差问题？

帮助将非常感谢！

Answer 1

是的，学习曲线取决于批量大小。

最佳批量大小取决于数据类型和数据总量
在理想情况下，批大小为1是最好的，但在实际中，由于数据量很大，这种方法不可行<我认为你必须通过实验来做到这一点，因为你无法轻松计算出最佳值。

此外，当您更改批次大小时，您可能还想更改学习率，以便保持对过程的控制。
但确实有一个工具来找到最佳（内存和时间方面）批次大小是非常有趣的。

随机梯度下降，通常缩写为SGD，是梯度下降算法的变体，它计算误差并为训练集中的每个示例更新模型。

每个训练示例的模型更新意味着随机梯度下降通常被称为在线机器学习算法。

批量梯度下降是梯度下降算法的变体，它计算训练集中每个示例的误差，但仅在评估所有训练示例后更新模型。

贯穿整个训练集的一个周期称为训练纪元，因此，常说批量梯度下降在每个训练纪元结束时进行模型更新。

小批量梯度下降是梯度下降算法的变体，它将训练集拆分为小批量，用于计算模型误差和更新模型系数。

实现可以选择对小批量的梯度求和，或者取梯度的平均值，这将进一步减少梯度的方差。

小批量梯度下降寻求在随机梯度下降的鲁棒性和批量梯度下降的效率之间找到平衡。它是深度学习领域中最常用的梯度下降实现。

来源：https://machinelearningmastery.com/gentle-introduction-mini-batch-gradient-descent-configure-batch-size/