使用Tensorflow和Numpy MSE的反向传播不丢弃

Question

我正在尝试创建反向传播，但我不想使用TF中的GradientDescentOptimizer。我只是想更新我自己的权重和偏差。问题是，均方误差或成本并没有接近于零。它只是停留在0.2xxx左右。是因为我的输入是520x1600（是的，每个输入有1600个单位，是的，有520个单位），还是我隐藏层中的神经元数量有问题？我曾尝试使用GradientDescentOptimizer和minimize（cost）来实现这一点，它工作得很好（随着培训的进行，成本几乎为零），但我的代码中可能存在更新权重和偏差的问题。

这是我的代码：

import tensorflow as tf
import numpy as np
from BPInputs40 import pattern, desired;

#get the inputs and desired outputs, 520 inputs, each has 1600 units
train_in = pattern
train_out = desired

learning_rate=tf.constant(0.5)
num_input_neurons = len(train_in[0])
num_output_neurons = len(train_out[0])
num_hidden_neurons = 20

#weight matrix initialization with random values
w_h = tf.Variable(tf.random_normal([num_input_neurons, num_hidden_neurons]), dtype=tf.float32)
w_o = tf.Variable(tf.random_normal([num_hidden_neurons, num_output_neurons]), dtype=tf.float32)
b_h = tf.Variable(tf.random_normal([1, num_hidden_neurons]), dtype=tf.float32)
b_o = tf.Variable(tf.random_normal([1, num_output_neurons]), dtype=tf.float32)

# Model input and output
x = tf.placeholder("float")
y = tf.placeholder("float")

def sigmoid(v):
  return tf.div(tf.constant(1.0),tf.add(tf.constant(1.0),tf.exp(tf.negative(v*0.001))))
def derivative(v):
  return tf.multiply(sigmoid(v), tf.subtract(tf.constant(1.0), sigmoid(v)))

output_h = tf.sigmoid(tf.add(tf.matmul(x,w_h),b_h))
output_o = tf.sigmoid(tf.add(tf.matmul(output_h,w_o),b_o)) 

error = tf.subtract(output_o,y)  #(1x35)
mse = tf.reduce_mean(tf.square(error))

delta_o=tf.multiply(error,derivative(output_o)) 
delta_b_o=delta_o
delta_w_o=tf.matmul(tf.transpose(output_h), delta_o)
delta_backprop=tf.matmul(delta_o,tf.transpose(w_o))
delta_h=tf.multiply(delta_backprop,derivative(output_h))
delta_b_h=delta_h
delta_w_h=tf.matmul(tf.transpose(x),delta_h)

#updating the weights
train = [
  tf.assign(w_h, tf.subtract(w_h, tf.multiply(learning_rate, delta_w_h))),
  tf.assign(b_h, tf.subtract(b_h, tf.multiply(learning_rate, tf.reduce_mean(delta_b_h, 0)))), 
  tf.assign(w_o, tf.subtract(w_o, tf.multiply(learning_rate, delta_w_o))), 
  tf.assign(b_o, tf.subtract(b_o, tf.multiply(learning_rate, tf.reduce_mean(delta_b_o, 0))))
]

sess = tf.Session()
sess.run(tf.global_variables_initializer())

err,target=1, 0.005
epoch, max_epochs = 0, 2000000
while epoch < max_epochs:
  epoch += 1
  err, _ = sess.run([mse, train],{x:train_in,y:train_out})
  if (epoch%1000 == 0):
    print('Epoch:', epoch, '\nMSE:', err)

answer = tf.equal(tf.floor(output_o + 0.5), y)
accuracy = tf.reduce_mean(tf.cast(answer, "float"))
print(sess.run([output_o], feed_dict={x: train_in, y: train_out}));
print("Accuracy: ", (1-err) * 100 , "%");

更新：我现在开始工作了。一旦我增加隐藏层中的神经元数量，MSE就会下降到几乎为零。我尝试在隐藏层中使用5200和6400个神经元，只有5000个纪元，准确率几乎为99%。此外，我使用的最大学习率为0.1，因为当超过该值时，MSE不会接近零。

Answer 1

我不是这个领域的专家，但看起来你的权重更新正确。事实上，您的MSE从更高的值下降到0.2xxx是这方面的有力指标。我肯定会尝试使用更多隐藏的神经元（例如500个）来运行这个问题

顺便问一下，您的输入是否正常化？如果不是，很明显这就是原因