分类神经网络不学习

Question

我正在建立一个分类神经网络，以便对两个不同的类进行分类。

所以这是一个二元分类问题，我正尝试用一个前馈神经网络来解决这个任务。

但是网络是不能学习的，事实上，在训练过程中，网络的精度是不变的。

具体而言，数据集由以下人员组成：

• 65673行22列。

其中一列是具有值(0，1)的目标类，而其他21列是预测器。数据集是这样平衡的：

null

可以看到也有NaN值，但我不能删除它，因为在其他列中有值0是有意义的。

我决定对我的数据进行相关性分析，我得到了：

由于目标是对目标值进行分类（或预测），如相关矩阵所示，列[s，t，u，v，z]似乎与目标列不相关。此外,列：

null

所以我也去掉了o列和Q列。

我得到了这样的情况：

之后,我对dataset进行了划分,以获得目标列和预测器列：

X= dataset.iloc[:,1:dataset.shape[1]]
y= dataset.iloc[:,0]

from keras.optimizers import Adam
from keras.layers import ReLU

model = Sequential()

model.add(Dense(X.shape[1], kernel_initializer='random_uniform',input_shape=(X.shape[1],)))
model.add(ReLU())
model.add(Dropout(0.1))
model.add(Dense(8))
model.add(ReLU())
model.add(Dropout(0.1))
model.add(Dense(4))
model.add(ReLU())
model.add(Dropout(0.1))
model.add(Dense(1, activation='sigmoid'))


opt = Adam(lr=0.00001, beta_1=0.9, beta_2=0.999, amsgrad=False)
model.compile(loss="binary_crossentropy", optimizer = opt, metrics=["accuracy"])
model.fit(X,y, batch_size=64, epochs=100, validation_split=0.25)

Epoch 2/100 49254/49254

Epoch 3/100 49254/49254

Epoch 4/100 49254/49254

Epoch 5/100 49254/49254

Epoch 6/100 49254/49254

Epoch 7/100 49254/49254

Epoch 8/100 49254/49254

Epoch 9/100 49254/49254

Epoch 10/100 49254/49254

...。

Epoch 98/100 49254/49254[==========================================================]-2S 49US/步进-损失：0.6878-Acc:0.5516-Val_Loss:0.6881-Val_Acc:0.5503

99/100年49254/49254[============================================================================]-2S 49US/步进-损失：0.6878-Acc:0.5516-Val_Loss:0.6881-Val_Acc:0.5503

Epoch 100/100 49254/49254

正如你所看到的，精确度始终保持不变，这是唯一一个我能看到损失函数有一些变化的模型。

我想做的是：

• 在所有层中使用Sigmoid激活函数
• 增加节点数和隐藏层数
• 在所有层中添加l2惩罚
• 使用不同的学习速率（从0.01到0.000001)
• 减少或增加BATCH_SIZE

但在所有情况下，结果都是一样的，甚至更糟。

关于归一化问题，是不是按照最小最大归一化对它们进行了归一化？

有人能帮助我更好地理解这个问题吗？非常感谢。

Answer 1

你的神经网络小得离谱，这与一个离谱的小学习率成对。

至少应执行以下操作：

• 将您的学习率提高到0.001
• 将神经元数量增加到16、32个（为什么不增加第三层64个）