如何使用python计算这些权重和偏差的正向通输出

Question

我试图用python做一些密集的神经网络机器学习。我在完成代码以计算权重和偏差的输出时遇到问题。当我在某个索引的权重和矩阵元素之间应用操作数*时，我得到的错误是ValueError:操作数不能与形状（100784）（1000784,1）一起广播。我是否对循环应用了错误的索引，或者我做错了什么请帮助。

##initialize the training and test arrays
train=np.empty((1000,28,28),dtype='float64')
trainY=np.zeros((1000,10,1))
test=np.empty((10000,28,28), dtype='float64')
testY=np.zeros((10000,10,1))

##reading image data into the training array
#load the images
i=0
for filename in os.listdir('Data/Training1000/'):
    y=int(filename[0])
    trainY[i,y]=1.0
    train[i]=cv2.imread('Data/Training1000/{0}'.format(filename),0)/255.0
    i+=1

##reading image data into the testing array
i=0

for filename in os.listdir('Data/Test10000'):
    y = int(filename[0])
    testY[i,y] = 1.0
    test[i] = cv2.imread('Data/Test10000/{0}'.format(filename),0)/255.0 
    i=i+1

##reshape the training and testing arrays
trainX = train.reshape(train.shape[0],train.shape[1]*train.shape[2],1)
testX = test.reshape(test.shape[0],test.shape[1]*test.shape[2],1)
##section to declare the weights and the biases
w1 = np.random.uniform(low=-0.1,high=0.1,size=(numNeuronsLayer1,784))
b1 = np.random.uniform(low=-1,high=1,size=(numNeuronsLayer1,1))
w2 = np.random.uniform(low=-0.1,high=0.1,size=(numNeuronsLayer2,numNeuronsLayer1))
b2 = np.random.uniform(low=-0.1,high=0.1,size=(numNeuronsLayer2,1))

##declare the hidden layers
numNeuronsLayer1=100
numNeuronsLayer2=10
numEpochs=100

##declare a learning rate
learningRate = 0.1;

##do the forward pass on the weights and the biases
for n in range(0,numEpochs):
    loss=0
    trainX,trainY = shuffle(trainX, trainY)

    for i in range(trainX.shape[0]):
    ##this is where I have a problem, the line below throws the error described above
    ##my first pass is declared a2
    a2=w1*train[i]+w2*trainX[i]+b1
    

我如何在上面的循环中正确引用我的训练变量来消除广播错误，谢谢。

Answer 1

你很接近，但有几个问题。首先，你需要做矩阵乘法<代码>*将执行元素乘法（即，np.array（[1,2,3]）*np。数组（[2,3,4]）=np。数组（[2,6,12]）。要使用numpy进行矩阵乘法，可以使用@运算符（即matrix1@matrix2）或使用np。matmul功能。

另一个问题是输入的形状。我不知道您为什么要在train.resporate（train.shape[0]，train.shape[1]*train.shape[2]，1）的末尾添加第三维（1）。您应该可以将其保留为矩阵（将其更改为train.reformate（train.shape[0]，train.shape[1]*train.shape[2]），更改测试。相应地重塑。

最后，你的推论线有点不对劲：a2=w1*trainX[i]w2*trainX[i]b1

您必须先计算a1，然后再计算a2。矩阵乘法的一个重要部分是内部尺寸必须一致（即，不能将[100,50]和[100,50]形状的矩阵相乘，但可以将[100,50]和[50,60]形状的矩阵相乘，矩阵乘积的结果形状是每个矩阵的外部标记，在本例中为[100,60]）。作为矩阵乘法的结果，您还可以摆脱for循环训练示例。所有示例都是同时计算的。因此，为了计算a1，我们需要将w1转换为右手变量。

a1 = ( trainX @ w1.transpose() ) + b1.transpose()

然后我们可以将a2计算为a1

a2 = ( a1 @ w2.transpose() ) + b2.transpose()