在android mobile上，Tensorflow lite的GPU代理、napi性能几乎相同

Question

我使用以下代码更改手机上的委托（G3226）

try {     
      if(delegateNum == 1){
        GpuDelegate delegate = new GpuDelegate();
        Interpreter.Options options = (new Interpreter.Options()).addDelegate(delegate);
        d.tfLite = new Interpreter(loadModelFile(assetManager, modelFilename), options);
      }else if(delegateNum == 2){
        NnApiDelegate delegate = new NnApiDelegate();
        Interpreter.Options options = (new Interpreter.Options()).addDelegate(delegate);
        d.tfLite = new Interpreter(loadModelFile(assetManager, modelFilename), options);
      }else{
        d.tfLite = new Interpreter(loadModelFile(assetManager, modelFilename));
      }      

    } catch (Exception e) {
      throw new RuntimeException(e);
    }

但性能几乎相同，不确定会发生什么。

>

电话G3226

TFLite版本

实现'org.tensorflow： tenorflow lite： 0.0.0-夜间'实现'org.tensorflow： tenorflow lite-gpu： 0.0.0-夜间'实现'org.tensorflow： tenorflow lite-support： 0.0.0-夜间'

可能的原因我猜：

1. 该模型太小，不够复杂，gpu或nnapi无法展示

如果是3，我怎么能检查我的手机是否支持gpu或napi？谢谢

Answer 1

有几件事：

>

量化SSD模型可能已经过时，请查看这些模型以获得更好的准确性。但是，您必须使用这些指令转换它们才能获得.tflite版本。

SSD模型有一个很大的后处理步骤（NMS），不会加速。因此，SSD模型的差异通常小于用于分类的MobileNet等更简单的模型。

NNAPI只适用于Android 8.1或更高版本-这对你的手机是真的吗？此外，NNAPI可能不会在所有架构上都加速，因此确实如此。

GPU委托不支持量化模型（尚未）。