如何在tensorflow/keras中使用常数滤波器进行卷积

Question

在resnet的某个阶段，每个图像有6个特征，即每个示例的形状为1X8X8X6，我希望每个特征都包含4个大小为1x2x1x1的常量过滤器（DWT），步长为2，以便在下一层中获得24个特征，并将图像变为1X4X4X24。然而，我无法使用tf。nn。conv2d或tf。nn。卷积为此，conv2d说输入的第四维等于滤波器的第三维，但我如何才能做到这一点，我尝试了第一个滤波器，但即使这样也不起作用：

x_in = np.random.randn(1,8,8,6)
kernel_in = np.array([[[[1],[1]],[[1],[1]]]])
kernel_in.shape
x = tf.constant(x_in, dtype=tf.float32)
kernel = tf.constant(kernel_in, dtype=tf.float32)
tf.nn.convolution(x, kernel, strides=[1, 1, 1, 1], padding='VALID')

Answer 1

一个简单的示例，介绍如何在Keras中为过滤器填充预定义值。TF2中的conv2d层：

model = models.Sequential()
# one 3x3 filter
model.add(layers.Conv2D(1, (3, 3), input_shape=(None, None, 1)))
# access to the target layer
layer = model.layers[0]
current_w, current_bias = layer.get_weights()  # see the current weights
new_w = tf.constant([[1,2, 3],
                     [4, 5, 6],
                     [7, 8, 9]])
new_w = tf.reshape(new_w, custom_w.shape)  # fix the shape
new_bias = tf.constant([0])
layer.set_weights([new_w, new_bias])
model.summary()
# let's see ..
tf.print(model.layers[0].get_weights())

Answer 2

以这种方式尝试

x_in = np.random.randn(1,8,8,6) # [batch, in_height, in_width, in_channels]
kernel_in = np.ones((2,2,6,24)) # [filter_height, filter_width, in_channels, out_channels]

x = tf.constant(x_in, dtype=tf.float32)
kernel = tf.constant(kernel_in, dtype=tf.float32)

tf.nn.conv2d(x, kernel, strides=[1, 2, 2, 1], padding='VALID')
# <tf.Tensor: shape=(1, 4, 4, 24), dtype=float32, numpy=....>