理解每层的Keras权重矩阵

Question

我正在尝试使用Keras中的全连接层架构进行二分类，在Keras中称为密集类。

这是我创建的神经网络架构的设计：

 from keras.models import Sequential
        from keras.layers import Dense, Dropout, Activation
        from keras.optimizers import SGD

        self.model = Sequential()
        # Dense(64) is a fully-connected layer with 64 hidden units.
        # in the first layer, you must specify the expected input data shape:
        # here, 20-dimensional vectors.
        self.model.add(Dense(32, activation='relu', input_dim=self.x_train_std.shape[1]))
        #self.model.add(Dropout(0.5))
        #self.model.add(Dense(64, activation='relu'))
        #self.model.add(Dropout(0.5))
        self.model.add(Dense(1, activation='sigmoid'))

因此，我有一个170002000的输入矩阵，其中17K个样本具有2k个特征。

我只保留了一个包含32个单位或神经元的隐藏层。

我的输出层是一个带有乙状结肠激活函数的单神经元。

现在，当我尝试检查第一个隐藏层的权重时，我希望它的大小是（2000,32），其中每行代表每个输入，每列代表该层中的每个单元。

这是Keras设置的架构配置：

dl_1.model.get_config()
Out[70]:
[{'class_name': 'Dense',
  'config': {'activation': 'relu',
   'activity_regularizer': None,
   'batch_input_shape': (None, 2000),
   'bias_constraint': None,
   'bias_initializer': {'class_name': 'Zeros', 'config': {}},
   'bias_regularizer': None,
   'dtype': 'float32',
   'kernel_constraint': None,
   'kernel_initializer': {'class_name': 'VarianceScaling',
    'config': {'distribution': 'uniform',
     'mode': 'fan_avg',
     'scale': 1.0,
     'seed': None}},
   'kernel_regularizer': None,
   'name': 'dense_1',
   'trainable': True,
   'units': 32,
   'use_bias': True}},
 {'class_name': 'Dense',
  'config': {'activation': 'sigmoid',
   'activity_regularizer': None,
   'bias_constraint': None,
   'bias_initializer': {'class_name': 'Zeros', 'config': {}},
   'bias_regularizer': None,
   'kernel_constraint': None,
   'kernel_initializer': {'class_name': 'VarianceScaling',
    'config': {'distribution': 'uniform',
     'mode': 'fan_avg',
     'scale': 1.0,
     'seed': None}},
   'kernel_regularizer': None,
   'name': 'dense_2',
   'trainable': True,
   'units': 1,
   'use_bias': True}}]

要查看第一个隐藏层的尺寸，请执行以下操作：

dl_1.model.get_layer(name="dense_1").input_shape

(None, 2000)

输出大小：

    dl_1.model.get_layer(name="dense_1").output_shape
Out[99]:
(None, 32)

所以它似乎给出了（2000,32），这与预期相符。

但是，当我尝试检查该层的权重矩阵时

dl_1.model.get_layer(name="dense_1").get_weights()[0]

它为我提供了一个numpy数组列表，列表长度为2000，数组长度为32，如下所示：

array([[ 0.0484077 , -0.02401097, -0.03099879, -0.02864455, -0.01511723,
         0.01386002,  0.01127522,  0.00844895, -0.02420873,  0.04466306,
         0.02965425,  0.0410631 ,  0.02397312,  0.0038885 ,  0.04846045,
         0.00653989, -0.05288456, -0.00325713,  0.0445733 ,  0.04594839,
         0.02839083,  0.0445912 , -0.0140048 , -0.01198476,  0.05259909,
        -0.03752745, -0.01337494, -0.02162734, -0.01522341,  0.01208428,
         0.01122886,  0.01496441],
       [ 0.05225918,  0.04231448,  0.01388102, -0.03310467, -0.05293509,
         0.01130457,  0.03127011, -0.04250741, -0.04212657, -0.01595866,
        -0.002456  ,  0.01112743,  0.0150629 ,  0.03072598, -0.04061607,
        -0.01131565, -0.02259113,  0.00907649, -0.04728404, -0.00909081,
         0.03182121, -0.04608218, -0.04411709, -0.03561752,  0.04686243,
        -0.04555761,  0.04087613,  0.04380137,  0.02079088, -0.02390963,
        -0.0164928 , -0.01228274],

我不确定我是否理解这一点。它应该是32 X2000，而不是2000 X 32。所以我希望，因为我有32个单元，每个单元有2000个权重，所以列表将有32个元素长，每个元素应该是2000维numpy数组。但事实恰恰相反。我不知道这是为什么？

权重与隐藏层相关，而与输入层无关，所以如果我认为它们为输入层显示了权重，那就没有意义了。

知道这是怎么回事吗？

Answer 1

您正在创建一个包含32个单元的Dense（）层。Dense层是（正如您在代码中的注释所指出的）“全连接层”，这意味着数据中的每个特征都连接到每个层。您的数据元素中还有2000个特征。

因此，您得到的阵列有2000个元素，每个元素对应一个特征，每个元素有32个权重，每个隐藏层对应一个元素，因此得到的形状。

从keras文档中我们可以看到示例：

model = Sequential()
model.add(Dense(32, input_shape=(16,)))
# now the model will take as input arrays of shape (*, 16)
# and output arrays of shape (*, 32)

# after the first layer, you don't need to specify
# the size of the input anymore:
model.add(Dense(32))

在您的情况下，*是2000，因此您的输出权重应该是您得到的形状。这似乎是Keras用于其输出的惯例。无论哪种方式，您都可以将数据转换为其他形状，因为数组的元素数与数组的元素数相同。