如何使用预训练模型优化用于图像分类的神经网络

Question

感谢您查看我的问题。我正在尝试根据一些预训练模型进行图像分类，图像应该分类到40个类。我想使用VGG和Xcept预训练模型将每张图像转换为两个1000维向量，并将它们堆叠到一个1*2000维向量作为我网络的输入，网络有40维输出。网络有2个隐藏层，一个有1024个神经元，另一个有512个神经元。

结构：图像-

然而，使用这种结构，我只能达到大约30%的精度。因此，我的问题是，如何优化网络结构以实现更高的准确性？我对深度学习还不熟悉，所以我不敢肯定我目前的设计是否“正确”。我真的很期待你的建议

Answer 1

当模型不适合时，可以尝试以下几个步骤：

1. 增加训练时间并降低学习率。它可能停在非常糟糕的局部最优值。
2. 添加可以为大量类提取特定特征的附加层。
3. 为每个类创建多个两类深度网络（“是”或“否”输出类）。这将使每个网络对每个类更加专业化，而不是训练一个网络来学习所有40个类。
4. 增加训练样本。

Answer 2

我不能完全确定我是否理解您的网络架构，但有些部分在我看来并不正确。

有两种主要的迁移学习场景：

>

提示#1：只使用一个经过预训练的网络。

提示2：您不需要为自己的分类器设置多个隐藏层。

微调ConvNet。第二种策略是不仅在新数据集上替换和重新训练ConvNet上的分类器，而且通过继续反向传播来微调预训练网络的权重。可以微调ConvNet的所有层，也可以固定一些早期层（由于过度拟合的问题），只微调网络的一些更高级别部分。这是因为观察到，ConvNet的早期特征包含对许多任务都有用的更通用的特征（如边缘检测器或颜色斑点检测器），但ConvNet的后续层逐渐变得更加特定于原始数据集中包含的类的细节。

提示3：保持早期预训练层固定。

提示#4：使用较小的学习率进行微调，因为您不想过快和过多地扭曲其他预训练层。

这种架构与我所看到的解决相同问题的架构更为相似，并且有更高的机会达到高精度。