我有一个量化的tflite模型,我想在Nvidia Jetson Nano上进行推理。我使用tf.lite。用于推理的解释器()方法。这个过程似乎没有在GPU上运行,因为CPU和GPU上的推理时间是相同的。
有没有办法使用Python在GPU上运行tflite模型?
我试图通过设置tf来强制使用GPU。device()方法,但仍然不起作用。官方文档中有一个叫做GPU加速委托的东西,但我似乎找不到任何关于Python的东西。
with tf.device('/device:GPU:0'):
interpreter = tf.lite.Interpreter(model_path="model.tflite")
interpreter.allocate_tensors()
input_details = interpreter.get_input_details()
output_details = interpreter.get_output_details()
input_shape = input_details[0]['shape']
input_data = np.array(np.random.random_sample(input_shape), dtype=np.uint8)
interpreter.set_tensor(input_details[0]['index'], input_data)
start_time = time.time()
interpreter.invoke()
elapsed_time = time.time() - start_time
print(elapsed_time)
output_data = interpreter.get_tensor(output_details[0]['index'])
您的Jetson Nano是否支持OpenCL?如果支持,您可以将OpenCL委托与TFLite一起使用。https://www.tensorflow.org/lite/guide/build_cmake#opencl_gpu_delegate
根据最近的线程,它似乎可以在jetson nano上使用。但它看起来像一个定制的构建,试试它而不是tenorflow lite。
如果您已经安装了它,如果该版本应该支持GPU,可能会要求使用nvidia Development per。
或者,您可以通过这种方式安装nvidia自定义tenorflow。
Python 3.6 JetPack4.4
sudo apt-get install libhdf5-serial-dev hdf5-tools libhdf5-dev zlib1g-dev zip libjpeg8-dev liblapack-dev libblas-dev gfortran
sudo apt-get install python3-pip
sudo pip3 install -U pip
sudo pip3 install -U pip testresources setuptools numpy==1.16.1 future==0.17.1 mock==3.0.5 h5py==2.9.0 keras_preprocessing==1.0.5 keras_applications==1.0.8 gast==0.2.2 futures protobuf pybind11
# TF-2.x
$ sudo pip3 install --pre --extra-index-url https://developer.download.nvidia.com/compute/redist/jp/v44 tensorflow==2.2.0+nv20.8
# TF-1.15
$ sudo pip3 install --pre --extra-index-url https://developer.download.nvidia.com/compute/redist/jp/v44 ‘tensorflow<2’
Python 3.6 JetPack4.3
$ sudo apt-get install libhdf5-serial-dev hdf5-tools libhdf5-dev zlib1g-dev zip libjpeg8-dev
$ sudo apt-get install python3-pip
$ sudo pip3 install -U pip
$ sudo pip3 install -U numpy grpcio absl-py py-cpuinfo psutil portpicker six mock requests gast h5py astor termcolor protobuf keras-applications keras-preprocessing wrapt google-pasta
# TF-2.x
$ sudo pip3 install --pre --extra-index-url https://developer.download.nvidia.com/compute/redist/jp/v43 tensorflow==2.1.0+nv20.3
# TF-1.15
$ sudo pip3 install --pre --extra-index-url https://developer.download.nvidia.com/compute/redist/jp/v43 tensorflow==1.15.2+nv20.3
根据此链接,TFLite不支持Nvidia GPU
根据来自的说明,我已将tensorflow推理图转换为tflite模型文件(*.tflite)https://www.tensorflow.org/lite/convert. 我在我的GPU服务器上测试了tflite模型,该服务器有4个Nvidia TITAN GPU。我使用了tf.lite。解释器加载并运行tflite模型文件。 它与以前的张量流图一样工作,然而,问题是推理变得太慢了。当我检查原
我正在尝试在智能手机上的应用程序上运行张量流精简模型。首先,我使用 LSTM 用数值数据训练模型,并使用张量流.Keras 构建模型层。我使用了 TensorFlow V2.x 并将训练的模型保存在服务器上。之后,该模型由应用程序下载到智能手机的内部存储器,并使用“映射字节缓冲区”加载到解释器。直到这里一切正常。 问题在于解释器无法读取和运行模型。我还在 build.gradle 上添加了所需的依
我一直在我的电脑上用Tensorflow写程序,它使用Linux薄荷。无论出于什么原因,我都无法让Tensorflow在我的图形处理器上运行。 2021-04-26 15:46:11.462612: W tenstorflow/stream_executor/平台/默认/dso_loader.cc:60]无法加载动态库'libcudart.so.11.0';libcudart.so.11.0:无法
问题内容: 我正在运行Keras模型,提交截止日期为36小时,如果我在cpu上训练我的模型大约需要50个小时,是否可以在gpu上运行Keras? 我正在使用Tensorflow后端,并在未安装anaconda的Jupyter笔记本上运行它。 问题答案: 是的,您可以在GPU上运行keras模型。几件事您将必须首先检查。 您的系统具有GPU(Nvidia。因为AMD尚未运行) 您已经安装了Tenso
我正在运行一个Keras模型,提交截止日期为36小时,如果我在cpu上训练我的模型,大约需要50小时,有没有办法在gpu上运行Keras? 我正在使用Tensorflow后端并在我的Jupyter笔记本上运行它,而没有安装anaconda。
我刚刚在Mac上下载了VSCode以及Python和pip。我通过VS微软扩展下载了最新版本的Python,并使用Python -m ensurepip - upgrade安装了pip。我的Mac上也有python 2.7.16,我相信是从我的操作系统上下载的(不是我下载的)。我尝试在VSCode中使用pip和Python。我将虚拟环境中的解释器设置为Python 3.8.2,并使用“python