无法正确转换tf。coral TPU量化格式的keras模型

Question

我正在尝试转换一个tf。keras模型基于mobilenetv2，使用最新的tf加密进行转置卷积。这是转换代码

#saved_model_dir='/content/ksaved'  # tried from saved model also
#converter = tf.lite.TFLiteConverter.from_saved_model(saved_model_dir)

converter = tf.lite.TFLiteConverter.from_keras_model(reshape_model)
converter.experimental_new_converter=True
converter.optimizations = [tf.lite.Optimize.DEFAULT]
converter.target_spec.supported_ops = [tf.lite.OpsSet.TFLITE_BUILTINS_INT8]
converter.inference_input_type = tf.uint8
converter.inference_output_type = tf.uint8

converter.representative_dataset = representative_dataset_gen

tflite_quant_modell = converter.convert()
open("/content/model_quant.tflite", "wb").write(tflite_quant_modell)

转换是成功的（在google colab）；但它在末端对操作员进行了量化和去量化（如在netron上看到的）。似乎支持所有运营商。代表性的数据集图像在生成器中是Float32，默认情况下，模型具有4通道Float32输入。看起来我们需要一个UINT8输入和输出珊瑚TPU内部模型。如何才能恰当地进行这种转换呢？

参考：-

>

权重和激活的全整数量化

如何量化优化tflite模型的输入和输出

珊瑚边缘TPU编译器无法转换tflite模型：模型未量化

我试过用tf。同胞。v1。清淡的。TFLiteConverter。从_keras_model_文件而不是v2版本。我在尝试量化最新tf 1.15（使用代表性数据集）中的模型时遇到错误：“op:TRANSPOSE_CONV尚不支持量化”和“内部编译器错误。中止！”使用tf2从coral tpu编译器。0量化tflite

Tflite模型@https://github.com/tensorflow/tensorflow/issues/31368

直到最后一个组成块（1x7x7x160）编译器错误（中止）没有给出任何有关潜在原因的信息，并且根据coral文档，所有类型的卷积层似乎都受支持。

珊瑚文件：https://coral.ai/docs/edgetpu/models-intro/#quantization

Answer 1

我始终确保不使用实验转换器：

converter.experimental_new_converter = False

Answer 2

下面是量化keras模型的虚拟模型示例。注意，我使用的是严格的tf1。15作为示例，因为tf2。0已弃用：

converter.inference_input_type = tf.uint8
converter.inference_output_type = tf.uint8

使用来自keras模型的api。我认为最让人困惑的是，你仍然可以打电话给它，但什么也没发生。这意味着模型仍将接受浮点输入。我注意到您正在使用tf2。0，因为来自_keras_模型的是一个tf2。0 api。Coral仍然建议使用tf1。15用于现在转换模型。我建议降级tensorflow，或者干脆使用它（在保持tf2.0的同时，它可能会工作，也可能不会工作）：

tf.compat.v1.lite.TFLiteConverter.from_keras_model_file

这里有更多。