ConvNet没有改进（Tensorflow）

Question

首先，我想道歉，因为我不允许发布太多代码，因为这是一个大学项目，但我真的被卡住了。

我正在尝试使用CIFAR-10数据集和TensorFlow，使用以下模型来训练ConvNet：

1. 图片：[32,32,3]
2. conv1: 5,5,3,64偏置[64]（初始化为0.0）
3. 规范1：depth_radis=4，偏差=1.0，alpha=0.001/9.0，beta=0.75
4. pool1：ksize=[1,3,3,1]，strides=[1,2,2,1]，填充=SAME
5. conv2: 5,5,64,64偏置[64]（初始化为0.1）
6. pool2：ksize=[1,3,3,1]，strides=[1,2,2,1]，填充=SAME
7. 规范2：depth_radis=4，偏差=1.0，alpha=0.001/9.0，beta=0.75
8. 局部1: 8*8*64, 384偏置[384]（初始化为0.1）
9. 局部2: 384, 192偏置[192]（初始化为0.1）
10. 辍学：keep_prob=0.5
11. softmax：[192,10]偏置[10]（初始化为0.0）

然而，我得到的结果是（1000个批次）：

1. 步骤0，训练精度0.09
2. 第一步，训练精度0.096
3. 第2步，训练精度0.1
4. 第3步，训练精度0.108
5. 第4步，训练精度0.122
6. 第5步，训练精度0.094
7. 第6步，训练精度0.086
8. 第7步，训练精度0.082
9. 第8步，训练精度0.104
10. 第9步，训练精度0.09

我使用以下内容更新权重：

cross_entropy = tf.reduce_mean(
       tf.nn.softmax_cross_entropy_with_logits(y_conv + 1e-10, y_))
train_step = tf.train.AdamOptimizer(0.0001).minimize(cross_entropy)

这是我一直在读的指南：https://www.tensorflow.org/versions/r0.11/tutorials/deep_cnn/index.html#convolutional-神经网络

我尝试过将学习速度从1e-1变为1e-8，但没有成功。非常感谢您的帮助。提前谢谢。

Answer 1

您可以尝试在数据集上做更多事情：

• 正常化图像

Answer 2

使用tf。nn。稀疏\u softmax\u cross\u entropy\u，使用\u logits代替tf。nn。softmax\u cross\u entropy\u with\u logits。