在这种情况下，在卷积之间没有池层的好处是什么？

Question

在设计用于提取DNA基序的卷积神经网络的背景下，为什么一个卷积层之间没有最大池函数？

以下是此架构出现的上下文。

self.model = Sequential()
assert len(num_filters) == len(conv_width)
for i, (nb_filter, nb_col) in enumerate(zip(num_filters, conv_width)):
    conv_height = 4 if i == 0 else 1
    self.model.add(Convolution2D(
        nb_filter=nb_filter, nb_row=conv_height,
        nb_col=nb_col, activation='linear',
        init='he_normal', input_shape=self.input_shape,
        W_regularizer=l1(L1), b_regularizer=l1(L1)))
    self.model.add(Activation('relu'))
    self.model.add(Dropout(dropout))
self.model.add(MaxPooling2D(pool_size=(1, pool_width)))

Answer 1

提供的代码在卷积之间使用激活

self.model = Sequential()
assert len(num_filters) == len(conv_width)
for i, (nb_filter, nb_col) in enumerate(zip(num_filters, conv_width)):
    conv_height = 4 if i == 0 else 1
    self.model.add(Convolution2D(
        nb_filter=nb_filter, nb_row=conv_height,
        nb_col=nb_col, activation='linear',
        init='he_normal', input_shape=self.input_shape,
        W_regularizer=l1(L1), b_regularizer=l1(L1)))
    self.model.add(Activation('relu')) #  <--------------------- ACTIVATION
    self.model.add(Dropout(dropout))
self.model.add(MaxPooling2D(pool_size=(1, pool_width)))

生成的模型类似于

conv -- relu -- dropout -- conv -- relu -- dropout -- ... -- max pool

为什么他们把激活分开，而不是在conv本身中指定“激活”？不知道，看起来像是一个奇怪的实现决定，但从实际的角度来看

self.model.add(Convolution2D(
        nb_filter=nb_filter, nb_row=conv_height,
        nb_col=nb_col, activation='linear',
        init='he_normal', input_shape=self.input_shape,
        W_regularizer=l1(L1), b_regularizer=l1(L1)))
self.model.add(Activation('relu'))

和

self.model.add(Convolution2D(
        nb_filter=nb_filter, nb_row=conv_height,
        nb_col=nb_col, activation='relu',
        init='he_normal', input_shape=self.input_shape,
        W_regularizer=l1(L1), b_regularizer=l1(L1)))

是等价的。

Answer 2

对于给定的输入维度，在达到无法再减少的1x1输出维度之前，您只能多次减少空间维度（通常每次减少2倍）！因此，对于深网，您别无选择，只能使用无降维的层组（卷积），由降维层分隔。因此，没有最大池的卷积层并没有任何好处，而是对于给定的输入大小，您只能有这么多的最大池层。

请注意，此处使用的最大池化的唯一功能是降维——它没有其他好处。事实上，更现代的全卷积架构（例如ResNet-50）不使用最大池化（除了在输入处），而是使用步幅2卷积来逐渐降低维度。