使用8位量化将Keras MobileNet模型转换为TFLite

Question

我已经使用Keras来微调MobileNet v1。现在我有Model. h5，我需要将其转换为TensorFlow Lite，以便在Android应用程序中使用。

我使用TFLite转换脚本TFLite\u convert。我可以在没有量化的情况下进行转换，但我需要更高的性能，所以我需要进行量化。

如果我运行此脚本：

tflite_convert --output_file=model_quant.tflite \
 --keras_model_file=model.h5 \
 --inference_type=QUANTIZED_UINT8 \
 --input_arrays=input_1 \
 --output_arrays=predictions/Softmax \
 --mean_values=128 \
 --std_dev_values=127 \
 --input_shape="1,224,224,3" 

它失败了：

F tensorflow/contrib/lite/toco/tooling\u util。cc:1634]Array conv1_relu/Relu6是产生输出数组conv_dw_1_relu/Relu6的DepthwiseConv运算符的输入，缺少量化所需的最小/最大数据。如果准确性很重要，可以针对非量化输出格式，或者从浮点检查点使用模型运行量化训练，以更改输入图以包含最小/最大信息。如果您不关心准确性，可以传递--default\u ranges\u min=和--default\u ranges\u max=以便于实验。\nAborted（堆芯转储）\n“

如果我使用default\u ranges\u min和default\u ranges\u max（称为“虚拟量化”），它可以工作，但它只用于调试性能，而没有错误日志中描述的准确性。

那么，我需要做些什么来使Keras模型正确量化呢？我需要找到最好的default_ranges_min和default_ranges_max吗？怎样？还是关于Keras训练阶段的变化？

库版本：

Python 3.6.4
TensorFlow 1.12.0
Keras 2.2.4

Answer 1

不幸的是，Tensorflow还没有为flatbuffer（tflite）中的每层训练后量化提供工具，而只是在protobuf中。现在唯一可用的方法是在图形中引入伪量化层，并在序列或校准集上重新训练/微调模型。这被称为“量化感知训练”。

一旦引入了伪量化层，您就可以为训练集提供反馈，TF将在前馈上使用它们作为模拟量化层（表示8位值的fp-32数据类型），并使用全精度值进行反向传播。这样，您就可以恢复量化造成的精度损失。

此外，fakeQuant层将通过移动平均值捕获每层或每通道的范围，并将其存储在最小/最大变量中。

稍后，您可以通过freeze_graph工具提取图定义并删除fakeQuant节点。

最后，可以将模型输入tf_-lite_转换器（交叉手指，它不会制动）并提取具有捕获范围的u8_-tflite。

谷歌提供了一份非常好的白皮书，解释了所有这些：https://arxiv.org/pdf/1806.08342.pdf

希望有帮助。