在Android原生环境中使用Tensorflow Lite GPU delegate和C-API

Question

我通过C-API（按照这些说明）在Android的本机环境中使用Tensorflow Lite，但与通过JavaAPI（在ART上）的GPU委托相比，运行时间要长得多。

JNI AAR文件（2.2）提供了C标头和共享库，但共享库似乎不包含GPU委托，而只包含一个在（TfLiteServer ate对象和TfLiteServer ateCreate（））上配置委托的框架。

**例如，它不提供任何名称空间访问。

• 我试图包括一个libtensorflowlite\u gpu\u委托。因此，在使用cmake的项目中，虽然它的构建和链接似乎还可以，但无法通过本机代码访问该库

如何使用C-API在Android的原生环境中使用GPU委托运行推理？

Answer 1

我设法做到了以下几点：

将tensorflow从GitHub中克隆到repo中，然后运行配置。有一点很重要，那就是回答你想为Android构建交互配置/工作区吗？[y/N]并正确指定Android NDK和SDK目录。

我与成功构建了GPU代理共享库

bazel build -c opt --cxxopt=--std=c++11 --config android_arm64 tensorflow/lite/delegates/gpu:libtensorflowlite_gpu_delegate.so

我针对Android NDK18.1.5063045构建了最低API级别27。请注意，我只测试了android_arm64架构，我不能保证其他架构。

（我编译TensorFlow的时候，HEAD指向提交0f8a27183657972c8ba2bce150e1364179ded6f9。）

相关线路如下：

include_directories(
    /Users/<name>/tensorflow/tensorflow/lite/delegates/gpu # for Mac 
)

add_library(tensorflow-lite_gpu_delegate SHARED IMPORTED)
set_target_properties(tensorflow-lite_gpu_delegate PROPERTIES IMPORTED_LOCATION
    /private/var/tmp/_bazel_<name>/fe60511640322ef6962b77bab4b291e3/execroot/org_tensorflow/bazel-out/arm64-v8a-opt/bin/tensorflow/lite/delegates/gpu/libtensorflowlite_gpu_delegate.so) # I obtained this path pressing Cmd+Option+C on the libtensorflow-lite_gpu_delegate.so file on Mac, might be different on your OS

target_link_libraries(
    tensorflow-lite_gpu_delegate
    )

相关线路如下：

#include <delegate.h>

auto *delegate = TfLiteGpuDelegateV2Create(/*default options=*/nullptr);

// Create the model and interpreter options.
TfLiteModel *model = TfLiteModelCreate(/* create as usual */);
TfLiteInterpreterOptions* options = TfLiteInterpreterOptionsCreate();
TfLiteInterpreterOptionsAddDelegate(options, delegate);

// Create the interpreter.
TfLiteInterpreter *interpreter = TfLiteInterpreterCreate(model, options);

注意：对我来说，GPU委托并没有在推理速度上产生很大的提高。这可能是因为我的模型使用了GPU委托不支持的操作（现在支持的操作集似乎很小），因此必须在CPU上计算。