TensorFlow Lite GPU Compute比CPU Compute慢得多

Question

我目前正在将一个模型从TensorFlow转换为TensorFlow Lite。通过首先创建一个检查点和一个保存的失重图（.pbtxt），然后使用freeze\u graph（）函数将模型冻结为具有图权重的.pb，最后在冻结的模型文件上运行tflite\u convert命令，我将模型从常规TF1.x会话转换为.tflite文件。在此过程中没有量化-保留了浮动。在那之后，我把模型放进Android Studio，用Adreno 506 GPU在我的摩托罗拉Moto G7电源上运行。

然而，我的原始模型和TF Lite正在运行的模型之间有两个主要区别。在TF-Lite上，我的推理精度大约降低了2%（我目前正在研究这个问题），GPU计算比我手机上的CPU计算慢得多。在计算机上，GPU计算大大加快了推理速度，但在我的手机上，GPU上的推理速度比CPU慢约30倍。

我已经看到我的手机目前运行Android9可能有问题，因为它只支持大约30个NNAPI操作，但Android10支持大约100个（视频：@6:19），但还没有看到关于GPU委托的类似情况。我的模型只是一个隐藏层大小为200的简单MLP，我看不到它的简单操作不被支持并导致CPU-GPU操作切换滞后。

我的输入数组的大小为[N]x[384]，并输出一个大小为[N]x[1]的数组，其中N是我希望在给定时间输入的384大小的输入数。对于我输入的所有输入数组，N都在400-800之间，但是我试着用更大的N来看看我注意到的速度减慢是否是由于在运行GPU推断时创建了代理内核。对于大n，GPU的推理时间接近CPU的推理时间，这让我认为GPU代理可能只是在我手机的CPU上进行计算。

以下是与n大小相比的CPU/GPU时序的一些示例：

N = 500
CPU: 21ms
GPU: 601ms

N = 5,000
CPU: 454ms
GPU: 1004ms

N = 10,000
CPU: 949ms
GPU: 1490ms

请注意，GPU时间似乎始终比CPU时间慢480毫秒，这让我认为480毫秒用于委托内核创建，最终只是完全在CPU上运行推理。

我正在使用以下代码创建GPU委托：

    GpuDelegate delegate = new GpuDelegate();
    Interpreter.Options options = (new Interpreter.Options()).addDelegate(delegate);

使用以下代码创建并运行我的解释器：

    Interpreter tfliteGPU = new Interpreter(loadedFile, options);
    tfliteGPU.run(inputArray, outputArray);

我将TF Lite Nightly 0.0.0用于TF Lite GPU和TF Lite Base：

    implementation 'org.tensorflow:tensorflow-lite:0.0.0-nightly'
    implementation 'org.tensorflow:tensorflow-lite-gpu:0.0.0-nightly'

为什么会这样？感谢任何帮助！

Answer 1

使用基准测试应用程序检查您的模型，无论所有操作是否都在GPU上运行，问题可能是模型回到了CPU，这会消耗处理时间。