如何在Keras中实现具有残差连接和批量归一化的一维卷积神经网络？

Question

我正试图开发一个一维卷积神经网络，该网络具有残余连接和批量归一化功能，基于《心脏病专家级心律失常检测与卷积神经网络》，使用keras。这是迄今为止的代码：

# define model
x = Input(shape=(time_steps, n_features))

# First Conv / BN / ReLU layer
y = Conv1D(filters=n_filters, kernel_size=n_kernel, strides=n_strides, padding='same')(x) 
y = BatchNormalization()(y)
y = ReLU()(y)

shortcut = MaxPooling1D(pool_size = n_pool)(y)

# First Residual block
y = Conv1D(filters=n_filters, kernel_size=n_kernel, strides=n_strides, padding='same')(y) 
y = BatchNormalization()(y)
y = ReLU()(y)
y = Dropout(rate=drop_rate)(y)
y = Conv1D(filters=n_filters, kernel_size=n_kernel, strides=n_strides, padding='same')(y) 
# Add Residual (shortcut)
y = add([shortcut, y])

# Repeated Residual blocks   
for k in range (2,3): # smaller network for testing

    shortcut = MaxPooling1D(pool_size = n_pool)(y)
    y = BatchNormalization()(y)
    y = ReLU()(y)
    y = Dropout(rate=drop_rate)(y)
    y = Conv1D(filters=n_filters * k, kernel_size=n_kernel, strides=n_strides, padding='same')(y)    
    y = BatchNormalization()(y)
    y = ReLU()(y)
    y = Dropout(rate=drop_rate)(y)
    y = Conv1D(filters=n_filters * k, kernel_size=n_kernel, strides=n_strides, padding='same')(y) 
    y = add([shortcut, y])

z = BatchNormalization()(y)
z = ReLU()(z)    
z = Flatten()(z)
z = Dense(64, activation='relu')(z)
predictions = Dense(classes, activation='softmax')(z)

model = Model(inputs=x, outputs=predictions)

# Compiling 
model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['categorical_accuracy'])

# Fitting 
model.fit(train_x, train_y, epochs=n_epochs, batch_size=n_batch)

这是我试图建立的简化模型的图表。

本文中描述的模型使用递增数量的过滤器：

该网络由16个剩余块组成，每个块有2个卷积层。卷积层都具有16个滤波器长度，并且具有64k个滤波器，其中k从1开始，并且每4个剩余块递增一次。每个备用残差块将其输入再采样一个因子2，因此原始输入最终再采样一个因子2^8。当剩余块对输入进行二次采样时，相应的快捷连接也会使用具有相同子采样因子的最大池操作对其输入进行二次采样。

但是，只有在每个Conv1D层中使用相同数量的过滤器，k=1，步幅=1和填充=相同，而不应用任何MaxPooling1D，我才能使它工作。这些参数的任何更改都会导致张量大小不匹配和编译失败，并出现以下错误：

ValueError: Operands could not be broadcast together with shapes (70, 64) (70, 128)

有没有人知道如何解决这个大小不匹配的问题并使其发挥作用？

此外，如果输入有多个通道（或特征），不匹配甚至是最糟糕的！有没有办法处理多个通道？

Answer 1

张量形状不匹配的问题应该发生在添加层中。由于您使用的是MaxPoolg1d层，因此默认情况下，这将使时间步长减半，您可以使用参数pool\u size对其进行更改。另一方面，您的剩余部分并没有减少相同数量的时间步。在任何一个Conv1D层（最好是最后一个层）中添加快捷方式和y之前，您应该先应用带填充的步幅为2。

作为参考，您可以在这里查看Resnet代码Keras applications github