如何使用GPU使用tf.lite运行tflite模型（*.tflite）。解释器（python）？
根据来自的说明，我已将tensorflow推理图转换为tflite模型文件（*.tflite）https://www.tensorflow.org/lite/convert.
我在我的GPU服务器上测试了tflite模型，该服务器有4个Nvidia TITAN GPU。我使用了tf.lite。解释器加载并运行tflite模型文件。
它与以前的张量流图一样工作，然而，问题是推理变得太慢了。当我检查原因时，我发现当tf.lite.解释器运行时，GPU利用率只是0%。
有什么方法可以运行tf.lite吗。支持GPU的解释器？
共有2个答案
阴谋：他们（TF-NVIDIA）握手不让TFlite在GPU上工作？制造一个很容易。
史蒂夫
https://github.com/tensorflow/tensorflow/issues/34536
CPU对于tflite来说已经足够好了，尤其是多核。
nvidia GPU可能没有为tflite更新，tflite是用于移动GPU平台的。
-
我有一个量化的tflite模型，我想在Nvidia Jetson Nano上进行推理。我使用tf.lite。用于推理的解释器（）方法。这个过程似乎没有在GPU上运行，因为CPU和GPU上的推理时间是相同的。 有没有办法使用Python在GPU上运行tflite模型？ 我试图通过设置tf来强制使用GPU。device（）方法，但仍然不起作用。官方文档中有一个叫做GPU加速委托的东西，但我似乎找不到任
-
我按照TensorFlow lite的指示在Android上创建了一个对象检测应用程序，我的tflite模型在笔记本电脑上测试时成功运行。但是，当我用我的tflite模型替换示例应用程序中的tflite模型时，它无法检测到任何东西。 还有什么我需要做的吗？请帮帮我，我已经陷入这种情况一个星期了。
-
我已经使用tensorflow后端训练了一个DNN，我想在FireBase中托管它。训练好的模型被保存为.meta文件，我尝试使用下面的代码将模型转换为tflite，但我遇到了一些错误。那么我如何将这个模型转换成Tensorflow Lite呢？
-
我有这个代码，用于使用tenorflow hub的预训练通用编码器构建语义搜索引擎。我无法转换为tlite。我已将模型保存到我的目录中。 导入模型： 根据数据训练模型: 保存模型: 保存工作正常，但当我转换到tflite它给出错误。 转换码： 错误:
-
这是我在Android Studio上导入的tensorflow Lite模型的代码： 在此处输入图像描述 这是我运行应用程序时的输出： 在此处输入图像描述 我不明白，怎么才能得到模型输出？？ 更新： 输出是6个元素的浮点数组，但我想要的是 Largesse 元素的索引，我尝试了这样的代码： 在此处输入图像描述 对吗？？我在每个预测上都得到相同的输出
-
我已经使用Keras来微调MobileNet v1。现在我有，我需要将其转换为TensorFlow Lite，以便在Android应用程序中使用。 我使用TFLite转换脚本。我可以在没有量化的情况下进行转换，但我需要更高的性能，所以我需要进行量化。 如果我运行此脚本： 它失败了： F tensorflow/contrib/lite/toco/tooling\u util。cc:1634]Arra