在CNN中展平后可以添加数据吗？

Question

我正在与美国有线电视新闻网（CNN）合作，我的教授希望我尝试包括一些相关的信息，但这些信息在图像本身中是不可用的。到目前为止，数据是一维数组。他认为在压扁层之后和致密层之前添加它应该是可能的，但我们都还没有足够的知识。

model = Sequential()
for i, feat in enumerate(args.conv_f):
    if i==0:
        model.add(Conv2D(feat, input_shape=x[0].shape, kernel_size=3, padding = 'same',use_bias=False))
    else:
        model.add(Conv2D(feat, kernel_size=3, padding = 'same',use_bias=False))
        model.add(BatchNormalization())
        model.add(LeakyReLU(alpha=args.conv_act))
        model.add(Conv2D(feat, kernel_size=3, padding = 'same',use_bias=False))
        model.add(BatchNormalization())
        model.add(LeakyReLU(alpha=args.conv_act))
        model.add(Dropout(args.conv_do[i]))

model.add(Flatten())

#Input code here

denseArgs = {'use_bias':False}
for i,feat in enumerate(args.dense_f):
    model.add(Dense(feat,**denseArgs))
    model.add(BatchNormalization())
    model.add(LeakyReLU(alpha=args.dense_act))
    model.add(Dropout(args.dense_do[i]))
model.add(Dense(1))

很明显，我们可能错了，所以非常感谢您的帮助！谢谢

Answer 1

我知道的一种方法需要使用keras的函数式API。这意味着您必须放弃当前使用的Sequential方法。

以玩具模型为例，让集团：

img_input = Input((64, 64, 1))
model = Conv2D(20, (5, 5))(img_input)
model = MaxPooling2D((2, 2))(model)

model = Flatten()(model)

是CNN的卷积层，最终变平。可以通过将最后一个模型层与新信息连接起来来添加信息。新信息可以通过创建一个简短的模型（这里是af\u输入）来打包，该模型只包含一个输入层。

例如：

af_input = Input(shape=(2,))

model = Concatenate()([model, af_input])

model = Dense(120, activation='relu')(model)
model = Dropout(0.1)(model)
model = Dense(100, activation='relu')(model)

predictions = Dense(2)(model)

fullmodel = Model(inputs=[img_input,af_input], outputs=predictions)

因此，现在CNN平坦层的结果将与额外信息向量（这里有2个特征）连接起来。

然后可以像往常一样继续向网络添加层。

我建议您检查stackoverflow链接：如何在keras中连接两个层？

另一个例子和一个很好的解释。