Keras conv1d层参数：过滤器和kernel\u大小

Question

我对keras的con1d层中的这两个参数感到非常困惑：https://keras.io/layers/convolutional/#conv1d

文件说明：

filters: Integer, the dimensionality of the output space (i.e. the number output of filters in the convolution).
kernel_size: An integer or tuple/list of a single integer, specifying the length of the 1D convolution window.

但这似乎与我在许多教程中看到的标准术语无关，例如https://adeshpande3.github.io/adeshpande3.github.io/A-Beginner's-Guide-To-Understanding-Convolutional-Neural-Networks/和https://machinelearningmastery.com/sequence-classification-lstm-recurrent-neural-networks-python-keras/

使用使用Keras的第二个教程链接，我可以想象实际上“kernel_size”与定义输入需求空间上滑动窗口的传统“过滤器”概念相关。但是con1d中的“过滤器”参数呢？它是做什么的？

例如，在以下代码片段中：

model.add(embedding_layer)
model.add(Dropout(0.2))
model.add(Conv1D(filters=100, kernel_size=4, padding='same', activation='relu'))

假设嵌入层输出一个维度为50（行，每行是句子中的一个单词）x 300（列，单词向量维度）的矩阵，conv1d层如何转换该矩阵？

非常感谢

Answer 1

下面解释中的代码可以帮助做到这一点。我去了类似的问题并自己回答了它。

from tensorflow.keras.layers import MaxPool1D
import tensorflow.keras.backend as K
import numpy as np
import tensorflow as tf
from tensorflow.keras.layers import Conv1D 
tf.set_random_seed(1)

batch,rows,cols = 3,8,3
input_shape = (batch,rows,cols)

np.set_random_seed = 132
data = np.random.randint(low=1,high=6,size=input_shape,dtype='int32')
data = np.float32(data)
data = tf.constant(data)

print("Data:")
print(K.eval(data))
print()
print(f'm,n,k:{input_shape}')
from tensorflow.keras.layers import Conv1D

#############################
# Understandin filters and kernel_size
##############################
num_filters=5
kernel_size= 3

'''
Few Notes about Kernel_size:
1. max_kernel_size == max_rows
2. since Conv1D, we are creating 1D Matrix of 1's with kernel_size 
if kernel_size = 1, [[1,1,1..]]
if kernel_size = 2, [[1,1,1..][1,1,1,..]]
if kernel_size = 3, [[1,1,1..][1,1,1,..]]

I have chosen tf.keras.initializers.constant(1) to create a matrix of Ones.
Size of matrix is Kernel_Size

'''
y= Conv1D(filters=num_filters,kernel_size=kernel_size,
          kernel_initializer=tf.keras.initializers.constant(1), 
 #glorot_uniform(seed=12)
          input_shape=(k,n)
         )(data)
#########################
# Checking the out outcome
#########################
print(K.eval(y))
print(f' Resulting output_shape == (batch_size, num_rows-kernel_size+1,num_filters): {y.shape}')

# # Verification
K.eval(tf.math.reduce_sum(data,axis=(2,1), # Sum along axis=2, and then along 
 axis=1,keep_dims=True)



###########################################
# Understanding MaxPool and Strides in 
##########################################
pool = MaxPool1D(pool_size=3,strides=3)(y)
print(K.eval(pool))
print(f'Shape of Pool: {pool.shape}')

Answer 2

您可以说，kernel\u size定义了滑动窗口的大小。

过滤器参数就是您将有多少个不同的窗口。（它们都具有相同的长度，即内核大小）。您想要产生多少不同的结果或渠道。

当您使用过滤器=100和内核大小=4时，您将创建100个不同的过滤器，每个过滤器的长度为4。结果将产生100种不同的卷积。

此外，每个滤波器都有足够的参数来考虑所有输入通道。

Conv1D层需要以下尺寸：

(batchSize, length, channels)

我认为使用它的最佳方法是将单词的数量设置为长度维度（就像单词按顺序组成一个句子），通道是嵌入的输出维度（定义一个单词的数字）。

因此：

batchSize = number of sentences    
length = number of words in each sentence   
channels = dimension of the embedding's output.    

卷积层将通过100个不同的过滤器，每个过滤器将沿长度方向滑动（逐字，4人一组），考虑到定义单词的所有通道。

输出形状如下：

(number of sentences, 50 words, 100 output dimension or filters)   

过滤器的形状如下：

(4 = length, 300 = word vector dimension, 100 output dimension of the convolution)