如何修复：AndroidTensorFlow Lite推理比标准TensorFlow推理慢得多

Question

我用TensorFlow和Keras开发并训练了一个卷积神经网络。现在，我想把这个模型部署到Android设备上，在那里我需要它来实现实时应用。

我找到了两种将Keras模型部署到Android的方法：

1. 将图形冻结为.pb文件（例如“model.pb”），然后在Android设备上使用“TensorFlowInferenceInterface”
2. 将冻结的图形转换为.tflite模型（例如“model.tflite”），然后在Android设备上使用TesorFlow Lite解释器

这两种方法都在Android设备上工作，并产生了预期的结果。然而，令我大吃一惊的是，使用TensorFlow Lite解释器进行推理所需的时间至少是使用TensorFlowInterface（当然是在同一台设备上）进行推理的两倍。我在各种设备上进行了检查，结果在所有情况下都是相似的。

为了创建tflite模型，我使用以下代码：

tflite_convert --graph_def_file=" + frozen_graph_name + "
--output_file=" + TFLite_file_name + " --inference_type=FLOAT 
--input_type=FLOAT --input_shape=1,768,64,1 
--input_format=TENSORFLOW_GRAPHDEF --output_format=TFLITE 
--input_arrays=input_1 --output_arrays=conv2d_10/Sigmoid" \ 

或者，我尝试了以下python代码

import tensorflow as tf
converter = tf.lite.TFLiteConverter.from_keras_model_file('keras_model.h5')        
tflite_model = converter.convert()
open(TFLite_file_name, "wb").write('model.tflite')

在这两种情况下，结果是相同的——tflite推理比所有Android设备上的TensorFlowInterface推理慢得多。添加优化标志“OPTIMIZE_FOR_LATENCY”将tflite推理时间增加了两倍。

我检查了TensorFlow Lite量化未能提高推理延迟，为什么TensorFlow Lite在桌面上比TensorFlow慢？，CPU上的Tensorflow对象检测推理很慢，但没有收到任何满意的答案。

根据我发现的所有文档，TFLite在Android设备上应该要快得多。那么，我能做些什么来加速我在Android上的TFLite推理呢？在我的电脑上，TFLite确实更快，这更令人惊讶。

非常感谢您的帮助！

Answer 1

您可能希望使用TFLite Benchmark工具分析您的模型，该工具为您提供平均推理时间

如果您观察到的延迟明显大于基准工具显示的延迟，那么您的推理代码可能效率低下。如果不是，那么某些操作可能是瓶颈，您可以为此提交Github问题。