单元测试反向传播神经网络代码

Question

我正在从头开始编写一个backprop神经网络迷你库，我需要一些帮助来编写有意义的自动测试。到目前为止，我已经进行了自动化测试，以验证backprop算法是否正确计算了权重和偏差梯度，但没有测试训练本身是否有效。

到目前为止，我使用的代码可以执行以下操作：

• 定义一个具有任意层数和每层神经元数的神经网络

鉴于所有这些，我可以编写什么样的自动化测试来确保训练算法被正确实施。我应该尝试近似什么函数（sin、cos、exp、二次等）？我应该在什么范围内以及如何密集地从这个函数中采样数据？NN应该有什么架构？

理想情况下，该函数应该相当简单易学，因此测试不会持续很长时间（1-3秒），但也足够复杂，以提供一定程度的确定性，确保算法正确实现。

Answer 1

神经网络组件实际上为单元测试提供了极好的机会。要记住的是“我们确定这个软件应该表现出什么样的行为？”。我在博客中详细讨论了一些需要验证的关键点，包括：

1. 有限差分验证-测试反向传播操作与组件函数的一致性-因为它应该是解析导数，所以应该与导数的数值近似值一致
2. 序列化
3. 与参考实现的一致性（如果有）-当您多次实现相同的功能时，这很有价值，例如GPU加速或基于FFT的卷积
4. 性能和附加烟雾测试（视情况而定）

当然，使用众所周知的测试问题进行集成测试是一种不可或缺的补充，我会在随后的帖子中介绍这一点，但您的问题是关于单元测试的。

Answer 2

我正在为我的学位做类似的事情。您需要的是集成测试，而不是单元测试。

单元测试只告诉您代码是否按您希望的方式工作。要检查算法是否实际正常工作，您应该编写集成测试，在其中创建具有所有所需依赖项（真实的，而不是模拟的）的网络。

创建网络后，您可以简单地尝试执行学习。简单数学函数的测试有利于开始。对于更多维度的函数，您可以尝试e. q. Rosenbrock函数。它非常好，因为您只需一个参数即可更改它的维度。不过，我仅将其用于GA基准测试。

您还可以在实际数据集上测试它。我推荐Iris数据集。它很小，很容易学。如果测试通过，您可以看到您的网络真正工作，而不仅仅是求解数学函数。我个人觉得这很安慰。：）

为了确保您的测试不会运行太久，请设置一个合理的最大历元数。还要注意，您希望每次测试都能通过，直到您搞砸了一些事情，所以不要让它们太难通过。

据我记忆所及，我使用了10个隐藏神经元作为虹膜数据集。在大约5次迭代中，您应该能够轻松获得至少95%的正确答案。

这样的测试可能需要几秒钟，但有一些是好的。你不必每次都运行它们。但是如果你进行了大规模的重构，它们仍然通过了，你就不必担心了。相信我——我经历过。