Nvidia Jetson上的Tensorflow Lite

Question

有人在任何Nvidia Jetson产品上使用Tensorflow Lite吗？我想使用我的Jetson Nano进行推理，并希望使用使用GPU的tf-lite进行推理。

令人困惑的是，似乎没有用于在tf-lite中创建GPU委托的Python API。

这有明确的原因吗？

是否可以使用完整的Tensorflow库（我不希望使用英伟达TensorRT引擎）？

Answer 1

如果您对使用C语言进行推理感兴趣，可以像我在Xavier NX上那样在Jetson设备上编译TFlite 2.4.1：

$ sudo apt-get install cmake curl
$ wget -O tensorflow.zip https://github.com/tensorflow/tensorflow/archive/v2.4.1.zip
$ unzip tensorflow.zip
$ mv tensorflow-2.4.1 tensorflow
$ cd tensorflow
$ ./tensorflow/lite/tools/make/download_dependencies.sh
$ ./tensorflow/lite/tools/make/build_aarch64_lib.sh

之后，您还必须像这样安装TF lite平面缓冲区：

$ cd ./tensorflow/tensorflow/lite/tools/make/downloads/flatbuffers
$ mkdir build && cd build
$ cmake ..
$ make -j
$ sudo make install
$ sudo ldconfig

之后，您可以在这里找到库tensorflow/tensorflow/lite/tools/make/gen/linux\u aarch64/libtensorflow-lite

您可以这样构建推理应用程序

gcc -llibtensorflow-lite.a -ledgetpu main.cpp

您还需要安装libedgetpu。就像Coral.ai上显示的那样

最佳亚历山大奖

Answer 2

是的，我以前试过在Jetson Nano上使用tf lite。

你可以参考我上一篇关于媒体的文章（PS：很抱歉这篇文章是用中文写的。）

本文是关于如何在Jetson Nano上设置TF-Lite环境的

注意：

您应该根据自己的环境更改以下命令。

安装pip3https://dl.google.com/coral/python/tflite_runtime-2.1.0.post1-cp36-cp36m-linux_aarch64.whl

在Jetson Nano上设置TF lite：https://yanwei-liu.medium.com/tflite-on-jetson-nano-c480fdf9ac2