量化TFLite模型比TF模型具有更好的精度

Question

我正在开发一个端到端训练和量化感知的训练示例。使用CIFAR10数据集，我加载了一个预训练的MobilenetV2模型，然后使用TensorFlow指南中的代码来量化我的模型。整个过程适当结束后，我得到以下结果：

Quant TFLite test_accuracy: 0.94462
Quant TF test accuracy:     0.744700014591217
TF test accuracy:           0.737500011920929

Quant TFLite test_accuracy: 0.9817
Quant TF test accuracy:     0.9815
TF test accuracy:           0.9811

注意，我并没有更改我从TensorFlow指南中附带的代码，我只是使用了一个不同的数据集和模型。

Answer 1

当您的模型没有完全收敛并且您的测试数据集的大小没有被认为大到足以与这些数据不同时，这是可能的。此外，即使你的模型是收敛的，减少比特推理的方法有时可以限制每个节点中随机变量的范围，有时可以匹配你的情况，帮助梯度更好地找到最优点。但是，我仍然鼓励您扩展您的测试集，并检查模型收敛性，因为差距太大了。

此外，对于MNIST来说，数据很简单，当它的平均值在0.9815左右时，差异不大。据我理解，这是合理的。