只有当输入大小大于1时，TensorFlow Lite Android才会在GPU计算上崩溃

Question

我一直在开发一个AndroidStudio应用程序，它使用TensorFlow Lite的GPU代理来加快推理速度。它使用一个模型，该模型接受大小为[n]x[384]的输入数组，并输出大小为[n]x[1]的数组，其中n是我希望在给定时间输入的384大小的输入数。输出n仅依赖于输入n。对于n=1，我没有问题-TF Lite的CPU和GPU推理都可以正常工作（尽管GPU确实需要更长的时间-可能是因为较小的输入大小？）。当我增加n使其大于1并运行我的模型时，CPU计算工作正常，但GPU计算会使我的程序崩溃。当我使用模拟的Pixel 3 XL运行程序时，我收到以下错误消息：

E/AndroidRuntime: FATAL EXCEPTION: main
Process: com.example.mlptest, PID: 10405
java.lang.IllegalArgumentException: Internal error: Failed to apply delegate: OpenCL library not loaded - dlopen failed: library "libOpenCL-pixel.so" not found
Falling back to OpenGL
TfLiteGpuDelegate Init: OpenGL ES 3.1 or above is required to use OpenGL inference.
TfLiteGpuDelegate Prepare: delegate is not initialized
Node number 4 (TfLiteGpuDelegateV2) failed to prepare.

当我在我的个人手机Motorla Moto G7电源上运行GPU compute时，我收到以下错误消息：

E/AndroidRuntime: FATAL EXCEPTION: main
Process: com.example.mlptest, PID: 16906
java.lang.IllegalStateException: Internal error: Unexpected failure when preparing tensor allocations: TfLiteGpuDelegate Init: Index is out of range
TfLiteGpuDelegate Prepare: delegate is not initialized
Node number 4 (TfLiteGpuDelegateV2) failed to prepare.

只要GPU代理的解释器运行，就会发生此崩溃。我使用以下代码行创建委托：

                GpuDelegate delegate = new GpuDelegate();
            Interpreter.Options options = (new Interpreter.Options()).addDelegate(delegate);

使用选项初始化解释器，然后运行它：

                Interpreter tfliteGPU = new Interpreter(loadedFile, options);

最后在计算后关闭委托：

delegate.close();

我使用的原始TensorFlow模型是在TensorFlow 1.x中创建的，并使用tflite\u convert命令从冻结图转换而来。我正在运行TF Lite 2.2.0和TF Lite GPU 2.2.0的应用程序：

    implementation 'org.tensorflow:tensorflow-lite:2.2.0'
    implementation 'org.tensorflow:tensorflow-lite-gpu:2.2.0'

我已经查看了TF Lite的Android API参考和他们在GPU代表上的页面，没有找到任何相关的解决方案。感谢您的帮助！

Answer 1

建议每晚试用TensorFlow实现后：

    implementation 'org.tensorflow:tensorflow-lite:0.0.0-nightly'
    implementation 'org.tensorflow:tensorflow-lite-gpu:0.0.0-nightly'

我在构建中切换了实现。gradle每晚使用0.0.0，我的问题就解决了。我说不出最初是什么导致了它，然而这就是解决它的原因。