问题：

神经网络验证精度有时不变

闻人英韶

2023-03-14

我正在使用神经网络来解决二分类问题，但我遇到了一些麻烦。有时在运行我的模型时，我的验证精度根本没有变化，有时它工作得很好。我的数据集有1200个样本，有28个特征，我有一个类不平衡（200类a 1000类b）。我所有的特征都被标准化了，并且在1到0之间。正如我之前所说，这个问题并不总是发生，但我想知道为什么并修复它

我曾尝试更改优化功能和激活功能，但这对我没有好处。我还注意到，当我增加网络中的神经元数量时，这个问题发生的频率会降低，但并没有得到解决。我也尝试过增加历代的数量，但问题有时会不断出现

model = Sequential()
model.add(Dense(28, input_dim=28,kernel_initializer='normal', activation='sigmoid'))
model.add(Dense(200, kernel_initializer='normal',activation='sigmoid')) 
model.add(Dropout(0.5))
model.add(Dense(300, kernel_initializer='normal',activation='sigmoid')) 
model.add(Dropout(0.5))
model.add(Dense(300, kernel_initializer='normal',activation='sigmoid')) 
model.add(Dropout(0.5))
model.add(Dense(150, kernel_initializer='normal',activation='sigmoid')) 
model.add(Dropout(0.4))
model.add(Dense(1,kernel_initializer='normal'))
model.compile(optimizer='adam',loss='binary_crossentropy',metrics=['accuracy'])
history = model.fit(X_train, y_train,
                    epochs=34,
                    batch_size=32,
                    validation_data=(X_val, y_val),
                    verbose=1)

这是我训练模型得到的结果

Epoch 1/34
788/788 [==============================] - 1s 2ms/step - loss: 1.5705 - acc: 0.6865 - val_loss: 0.6346 - val_acc: 0.7783
Epoch 2/34
788/788 [==============================] - 0s 211us/step - loss: 1.0262 - acc: 0.6231 - val_loss: 0.5310 - val_acc: 0.7783
Epoch 3/34
788/788 [==============================] - 0s 194us/step - loss: 1.7575 - acc: 0.7221 - val_loss: 0.5431 - val_acc: 0.7783
Epoch 4/34
788/788 [==============================] - 0s 218us/step - loss: 0.9113 - acc: 0.5774 - val_loss: 0.5685 - val_acc: 0.7783
Epoch 5/34
788/788 [==============================] - 0s 199us/step - loss: 1.0987 - acc: 0.6688 - val_loss: 0.6435 - val_acc: 0.7783
Epoch 6/34
788/788 [==============================] - 0s 201us/step - loss: 0.9777 - acc: 0.5343 - val_loss: 0.5643 - val_acc: 0.7783
Epoch 7/34
788/788 [==============================] - 0s 204us/step - loss: 1.0603 - acc: 0.5914 - val_loss: 0.6266 - val_acc: 0.7783
Epoch 8/34
788/788 [==============================] - 0s 197us/step - loss: 0.7580 - acc: 0.5939 - val_loss: 0.6615 - val_acc: 0.7783
Epoch 9/34
788/788 [==============================] - 0s 206us/step - loss: 0.8950 - acc: 0.6650 - val_loss: 0.5291 - val_acc: 0.7783
Epoch 10/34
788/788 [==============================] - 0s 230us/step - loss: 0.8114 - acc: 0.6701 - val_loss: 0.5428 - val_acc: 0.7783
Epoch 11/34
788/788 [==============================] - 0s 281us/step - loss: 0.7235 - acc: 0.6624 - val_loss: 0.5275 - val_acc: 0.7783
Epoch 12/34
788/788 [==============================] - 0s 264us/step - loss: 0.7237 - acc: 0.6485 - val_loss: 0.5473 - val_acc: 0.7783
Epoch 13/34
788/788 [==============================] - 0s 213us/step - loss: 0.6902 - acc: 0.7056 - val_loss: 0.5265 - val_acc: 0.7783
Epoch 14/34
788/788 [==============================] - 0s 217us/step - loss: 0.6726 - acc: 0.7145 - val_loss: 0.5285 - val_acc: 0.7783
Epoch 15/34
788/788 [==============================] - 0s 197us/step - loss: 0.6656 - acc: 0.7132 - val_loss: 0.5354 - val_acc: 0.7783
Epoch 16/34
788/788 [==============================] - 0s 216us/step - loss: 0.6083 - acc: 0.7259 - val_loss: 0.5262 - val_acc: 0.7783
Epoch 17/34
788/788 [==============================] - 0s 218us/step - loss: 0.6188 - acc: 0.7310 - val_loss: 0.5271 - val_acc: 0.7783
Epoch 18/34
788/788 [==============================] - 0s 210us/step - loss: 0.6642 - acc: 0.6142 - val_loss: 0.5676 - val_acc: 0.7783
Epoch 19/34
788/788 [==============================] - 0s 200us/step - loss: 0.6017 - acc: 0.7221 - val_loss: 0.5256 - val_acc: 0.7783
Epoch 20/34
788/788 [==============================] - 0s 209us/step - loss: 0.6188 - acc: 0.7157 - val_loss: 0.8090 - val_acc: 0.2217
Epoch 21/34
788/788 [==============================] - 0s 201us/step - loss: 1.1724 - acc: 0.4061 - val_loss: 0.5448 - val_acc: 0.7783
Epoch 22/34
788/788 [==============================] - 0s 205us/step - loss: 0.5724 - acc: 0.7424 - val_loss: 0.5293 - val_acc: 0.7783
Epoch 23/34
788/788 [==============================] - 0s 234us/step - loss: 0.5829 - acc: 0.7538 - val_loss: 0.5274 - val_acc: 0.7783
Epoch 24/34
788/788 [==============================] - 0s 209us/step - loss: 0.5815 - acc: 0.7525 - val_loss: 0.5274 - val_acc: 0.7783
Epoch 25/34
788/788 [==============================] - 0s 220us/step - loss: 0.5688 - acc: 0.7576 - val_loss: 0.5274 - val_acc: 0.7783
Epoch 26/34
788/788 [==============================] - 0s 210us/step - loss: 0.5715 - acc: 0.7525 - val_loss: 0.5273 - val_acc: 0.7783
Epoch 27/34
788/788 [==============================] - 0s 206us/step - loss: 0.5584 - acc: 0.7576 - val_loss: 0.5274 - val_acc: 0.7783
Epoch 28/34
788/788 [==============================] - 0s 215us/step - loss: 0.5728 - acc: 0.7563 - val_loss: 0.5272 - val_acc: 0.7783
Epoch 29/34
788/788 [==============================] - 0s 281us/step - loss: 0.5735 - acc: 0.7576 - val_loss: 0.5275 - val_acc: 0.7783
Epoch 30/34
788/788 [==============================] - 0s 272us/step - loss: 0.5773 - acc: 0.7614 - val_loss: 0.5272 - val_acc: 0.7783
Epoch 31/34
788/788 [==============================] - 0s 225us/step - loss: 0.5847 - acc: 0.7525 - val_loss: 0.5272 - val_acc: 0.7783
Epoch 32/34
788/788 [==============================] - 0s 239us/step - loss: 0.5739 - acc: 0.7551 - val_loss: 0.5272 - val_acc: 0.7783
Epoch 33/34
788/788 [==============================] - 0s 216us/step - loss: 0.5632 - acc: 0.7525 - val_loss: 0.5269 - val_acc: 0.7783
Epoch 34/34
788/788 [==============================] - 0s 240us/step - loss: 0.5672 - acc: 0.7576 - val_loss: 0.5267 - val_acc: 0.7783

共有1个答案

万俟高峻

2023-03-14

考虑到你报告的班级不平衡，你的模型似乎没有学到任何东西（报告的准确度似乎与预测大多数班级的一切一致）。然而，您的代码存在问题；对于初学者：

将除输出层之外的所有激活功能替换为“relu”
在最后一层中html" target="_blank">添加一个sigmoid激活函数；按原样，您的是回归网络（最后一层中的默认线性输出），而不是分类网络
从所有层中删除所有的kernel\u initializer='normal'参数，即将其保留为默认的kernel\u initializer='glorot\u uniform'，这可以获得（更好的）性能

此外，不清楚为什么要选择28个单元的输入密集层-这里的单元数与输入维度无关；请参阅Keras Sequential模型输入层。

默认情况下，Dropout不应该进入网络-先尝试不使用它，然后在必要时添加。

总而言之，以下是您的模型应该如何寻找初学者：

model = Sequential()
model.add(Dense(200, input_dim=28, activation='relu')) 
# model.add(Dropout(0.5))
model.add(Dense(300, activation='relu')) 
# model.add(Dropout(0.5))
model.add(Dense(300, activation='relu')) 
# model.add(Dropout(0.5))
model.add(Dense(150, activation='relu')) 
# model.add(Dropout(0.4))
model.add(Dense(1, activation='sigmoid'))

model.compile(optimizer='adam',loss='binary_crossentropy',metrics=['accuracy'])

并且，如前所述，根据您的实验结果取消注释/调整dropout层。

类似资料：

深度神经网络

LeNet 5 LeNet-5是第一个成功的卷积神经网络，共有7层，不包含输入，每层都包含可训练参数（连接权重）。 AlexNet tf AlexNet可以认为是增强版的LeNet5，共8层，其中前5层convolutional，后面3层是full-connected。 GooLeNet (Inception v2) GoogLeNet用了很多相同的层，共22层，并将全连接层变为稀疏链接层。 In
神经网络

神经网络 (Neural Network) 是机器学习的一个分支，全称人工神经网络（Artificial Neural Network，缩写 ANN），是一种模仿生物神经网络的结构和功能的数学模型或计算模型，用于对函数进行估计或近似。 Perceptron (感知器) 一个典型的神经网络由输入层、一个或多个隐藏层以及输出层组成，其中箭头代表着数据流动的方向，而圆圈代表激活函数（最常用的激活函数为
神经网络

译者：bat67 最新版会在译者仓库首先同步。可以使用torch.nn包来构建神经网络. 我们以及介绍了autograd，nn包依赖于autograd包来定义模型并对它们求导。一个nn.Module包含各个层和一个forward(input)方法，该方法返回output。例如，下面这个神经网络可以对数字进行分类：这是一个简单的前馈神经网络（feed-forward network）。它接受一
深度神经网络实践

代码见nn_overfit.py 优化 Regularization 在前面实现的RELU连接的两层神经网络中，加Regularization进行约束，采用加l2 norm的方法，进行负反馈：代码实现上，只需要对tf_sgd_relu_nn中train_loss做修改即可：可以用tf.nn.l2_loss(t)对一个Tensor对象求l2 norm 需要对我们使用的各个W都做这样的计算（参考t
深度循环神经网络

本章到目前为止介绍的循环神经网络只有一个单向的隐藏层，在深度学习应用里，我们通常会用到含有多个隐藏层的循环神经网络，也称作深度循环神经网络。图6.11演示了一个有$L$个隐藏层的深度循环神经网络，每个隐藏状态不断传递至当前层的下一时间步和当前时间步的下一层。具体来说，在时间步$t$里，设小批量输入$\boldsymbol{X}_t \in \mathbb{R}^{n \times d}$（样本数
深度卷积神经网络（AlexNet）

在LeNet提出后的将近20年里，神经网络一度被其他机器学习方法超越，如支持向量机。虽然LeNet可以在早期的小数据集上取得好的成绩，但是在更大的真实数据集上的表现并不尽如人意。一方面，神经网络计算复杂。虽然20世纪90年代也有过一些针对神经网络的加速硬件，但并没有像之后GPU那样大量普及。因此，训练一个多通道、多层和有大量参数的卷积神经网络在当年很难完成。另一方面，当年研究者还没有大量深入研究参

神经网络验证精度有时不变

共有1个答案

相关问答

相关文章

相关阅读

相关工具

相关文档