如何训练和微调完全无监督的深层神经网络？

Question

在场景1中，我有一个多层稀疏自动编码器，它试图再现我的输入，所以我的所有层都使用随机启动的权重进行训练。没有监督层，在我的数据上，这没有学到任何相关信息（代码运行良好，经过验证，因为我已经在许多其他深层神经网络问题中使用过它）

在场景2中，我只是在贪婪的逐层训练中训练多个自动编码器，类似于深度学习（但最终没有监督步骤），每一层都在前一个自动编码器的隐藏层的输出上。他们现在将分别学习一些模式（正如我从可视化权重中看到的那样），但并不像我对单层AE的期望那样出色。

所以我决定尝试一下，现在连接到一个多层AE中的预训练层是否比随机初始化版本的性能更好。正如您所看到的，这与深层神经网络中微调步骤的想法相同。

但是在我的微调过程中，所有层的神经元似乎都迅速收敛到一个完全相同的模式，最终什么也学不到。

问：训练完全无监督的多层重建神经网络的最佳配置是什么？先分层，然后进行某种微调？为什么我的配置不起作用？

Answer 1

经过一些测试，我想出了一种方法，似乎可以得到很好的结果，正如您所期望的那样，通过“微调”，它可以提高所有层的性能：

就像正常情况一样，在贪婪的逐层学习阶段，每个新的自动编码器都会尝试重建之前自动编码器隐藏层的激活。然而，最后一个自动编码器（即微调期间多层自动编码器的最后一层）不同，这一层将使用前一层的激活，并尝试重建“全局”输入（即馈送到第一层的原始输入）。

这样，当我连接所有层并将它们训练在一起时，多层自动编码器将在最终输出中真正重建原始图像。我发现学习到的特征有了巨大的改进，即使没有监督步骤。

我不知道这是否应该以某种方式符合标准实现，但我以前在任何地方都没有发现这个技巧。