TensorFlow假定量层也从TF-Lite中调用

Question

我正在使用TensorFlow 2.1，以便通过量化感知训练来训练模型。

执行此操作的代码是：

import tensorflow_model_optimization as tfmot
model = tfmot.quantization.keras.quantize_annotate_model(model)

这将向图形中添加伪量化节点。这些节点应该调整模型的权重，以便更容易量化为int8并处理int8数据。

当训练结束时，我将模型转换并量化为TF-Lite，就像这样：

converter = tf.lite.TFLiteConverter.from_keras_model(model)
converter.optimizations = [tf.lite.Optimize.DEFAULT]
converter.representative_dataset = [give data provider]
quantized_tflite_model = converter.convert()

在这一点上，我不希望在TL-Lite图中看到假量化层。但令人惊讶的是，我确实看到了它们。此外，当我在TF-Lite C示例应用程序中运行这个量化模型时，我看到它也在推理过程中运行假量化节点。除此之外，它还去量化和量化每个层之间的激活。

这是C代码输出的一个示例：

节点0操作员内置代码80伪量化输入：1
输出：237
节点1操作员内置代码114量化输入：237
输出：238
节点2操作员内置代码3转换2D
输入：238 59 58
输出：167
临时：378
节点3操作员内置代码6反量化输入：167
输出：239
节点4操作员内置代码80伪量化输入：239输出：166输入：166输入：166输出：169

所以我觉得这一切都很奇怪，同时考虑到这个模型应该只在int8上运行，实际上假量化节点作为输入是浮动的。

这里的任何帮助都将不胜感激。

Answer 1

我也遇到过同样的问题。在我的例子中，量化的tflite模型的大小随着假量化增加了约3倍。你有没有想过？检查Netron中的tflite图显示每个操作之间插入了量化层。

到目前为止，我的解决方法是在没有伪量化的情况下启动模型的新副本，然后从量化感知训练模型中按层加载权重。它不能直接为整个模型设置权重，因为伪量化层也有参数。

Answer 2

您可以强制TF Lite仅使用INT操作：

converter.target_spec.supported_ops = [tf.lite.OpsSet.TFLITE_BUILTINS_INT8]

如果发生错误，则网络的某些层还没有INT8实现。

此外，您还可以尝试使用Netron调查您的网络。

尽管如此，如果您还想要INT8输入和输出，您还需要调整这些输入和输出：

converter.inference_input_type = tf.int8
converter.inference_output_type = tf.int8

但是，目前有一个关于输入和输出的公开问题，请参见问题#38285

Answer 3

代表性_数据集主要用于训练后量化。

将您的命令与QAT示例进行比较，您可能希望删除该行。

https://www.tensorflow.org/model_optimization/guide/quantization/training_example

converter = tf.lite.TFLiteConverter.from_keras_model(q_aware_model)
converter.optimizations = [tf.lite.Optimize.DEFAULT]

quantized_tflite_model = converter.convert()


# Create float TFLite model.
float_converter = tf.lite.TFLiteConverter.from_keras_model(model)
float_tflite_model = float_converter.convert()

# Measure sizes of models.
_, float_file = tempfile.mkstemp('.tflite')
_, quant_file = tempfile.mkstemp('.tflite')

with open(quant_file, 'wb') as f:
  f.write(quantized_tflite_model)

with open(float_file, 'wb') as f:
  f.write(float_tflite_model)

print("Float model in Mb:", os.path.getsize(float_file) / float(2**20))
print("Quantized model in Mb:", os.path.getsize(quant_file) / float(2**20))