用于目标定位的卷积神经网络

Question

我在吴恩达的深度学习课程中看到了一种在图像上定位单个对象的方法：https://www.youtube.com/watch?v=GSwYGkTfOKk。据我所知，您可以将一个点绑定到对象的特定部分，将坐标：x，y作为标签y并训练CNN。

我想训练一个CNN神经网络来定位我的眼睛（而不是分类）。我拍了200张我的照片：灰度60x60像素。我标记左眼和右眼，标记眼的每个坐标被归一化为0-1。y标签为：[eye1的x，eye1的y，eye2的x，eye2的y]。我在输出层sigmoid函数中使用了带有mse损耗的SGD optimazer。

model = tf.keras.models.Sequential()
model.add(tf.keras.layers.Conv2D(64, (3,3), input_shape= (60,60, 1)))
model.add(tf.keras.layers.Activation('relu'))
model.add(tf.keras.layers.MaxPool2D(pool_size=(2,2)))

model.add(tf.keras.layers.Conv2D(32, (3,3)))
model.add(tf.keras.layers.Activation('relu'))
model.add(tf.keras.layers.MaxPool2D(pool_size=(2,2)))

model.add(tf.keras.layers.Flatten())
model.add(tf.keras.layers.Dense(64, activation='relu'))

model.add(tf.keras.layers.Dense(4, activation='sigmoid'))
sgd= tf.keras.optimizers.SGD(lr = 0.01)
model.compile(loss = 'mean_squared_error', optimizer=sgd, metrics=['accuracy'])
model.fit(x,y, batch_size=3, epochs=15, validation_split=0.2)

它对这个任务不起作用，那么解决这个问题的方法是什么呢？我在某处看到：将CNN应用于图像（我想没有密集层），然后对CNN的数据进行展平，对每个x/y坐标使用线性回归（多变量逻辑回归）。这是一个解决方案吗？据我所知，我会将每个图像输入Conv和MaxPool层，然后展平，然后将数据输入lin.回归并训练它，但我不知道如何在keras中做到这一点。我是这个领域的新手，所以任何想法都能帮助我。

Answer 1

首先，对您的代码进行几点观察。

由于最后一层包含2个以上的神经元，因此必须使用的激活函数是softmax，而不是sigmoid（请注意，这是分类的情况，而不是回归）。

只有在进行二进制分类时，才应该使用sigmoid，但当您有两个以上的类时，才应该使用sigmoid（请注意，您也可以对两个类使用softmax，但从较小的计算开销来看，不一定推荐使用softmax）。

你的问题既是回归问题也是分类问题！。

卷积神经网络的第一层包含64个特征映射，每个核的大小为3x3。虽然将图像输入到神经网络的方式是正确的，但只输入灰度图像，而不是x1、x2、y1、y2坐标。

对于带回归的ANN，请查看本教程：https://machinelearningmastery.com/regression-tutorial-keras-deep-learning-library-python/.

你的直觉是正确的；目标检测神经网络将完全连接的层替换为卷积层。Yann LeCun甚至表示，完全连接的层不应该是CNN的一部分。

由于您是该领域的新手，我建议您采用以下管道。

1） 查找您喜欢的深度学习库（Keras/PyTorch/TensorFlow等）中编写的在线github模型。

2）按照说明/教程重现github用户获得的结果。

3）通过后者，您还应该理解代码/获得良好的直观掌握。

4）使模型适应您需要的问题。

您可以从这里开始（这是对象检测-检测多个对象以及不同类别的对象）：https://github.com/pierluigiferrari/ssd_keras.

如果您还有其他问题，请写下来，我很乐意为您提供帮助！