如何量化优化tflite模型的输入和输出

Question

我使用以下代码生成量化的tflite模型

import tensorflow as tf

def representative_dataset_gen():
  for _ in range(num_calibration_steps):
    # Get sample input data as a numpy array in a method of your choosing.
    yield [input]

converter = tf.lite.TFLiteConverter.from_saved_model(saved_model_dir)
converter.optimizations = [tf.lite.Optimize.DEFAULT]
converter.representative_dataset = representative_dataset_gen
tflite_quant_model = converter.convert()

但是根据训练后量化：

生成的模型将完全量化，但为了方便起见，仍然采用浮点输入和输出。

要为Google Coral Edge TPU编译tflite模型，我还需要量化输入和输出。

在模型中，我看到第一个网络层将浮点输入转换为input\u uint8，最后一个网络层将output\u uint8转换为浮点输出。如何编辑tflite模型以除去第一个和最后一个浮动层？

我知道我可以在转换期间将输入和输出类型设置为uint8，但这与任何优化都不兼容。唯一可用的选择是使用假量化，这会导致坏的模型。

Answer 1

converter = tf.lite.TFLiteConverter.from_saved_model(saved_model_dir
converter.optimizations = [tf.lite.Optimize.DEFAULT] 
converter.representative_dataset = representative_dataset
#The below 3 lines performs the input - output quantization
converter.target_spec.supported_ops = [tf.lite.OpsSet.TFLITE_BUILTINS_INT8]
converter.inference_input_type = tf.uint8
converter.inference_output_type = tf.uint8
tflite_model = converter.convert()

Answer 2

通过设置推断\输入\类型和推断\输出\类型，可以避免浮点为int8和int8浮点为“定量/定量”运算(https://github.com/tensorflow/tensorflow/blob/master/tensorflow/lite/python/lite.py#L460-L476）至int8。