当前位置: 首页 > 知识库问答 >
问题:

TensorFlow Lite C用于推理的API示例

陈畅
2023-03-14

我正在尝试让TensorFlow Lite示例在带有ARM Cortex-A72处理器的机器上运行。不幸的是,由于缺乏关于如何使用C API的示例,我无法部署测试模型。我将努力解释我迄今为止所取得的成就。

创建tflite模型

我创建了一个简单的线性回归模型并对其进行了转换,它应该近似于函数f(x)=2x-1。我从一些教程中得到了这个代码片段,但是我再也找不到了。

import tensorflow as tf
import numpy as np
from tensorflow import keras
from tensorflow.contrib import lite

model = keras.Sequential([keras.layers.Dense(units=1, input_shape=[1])])
model.compile(optimizer='sgd', loss='mean_squared_error')

xs = np.array([ -1.0, 0.0, 1.0, 2.0, 3.0, 4.0], dtype=float)
ys = np.array([ -3.0, -1.0, 1.0, 3.0, 5.0, 7.0], dtype=float)

model.fit(xs, ys, epochs=500)

print(model.predict([10.0]))

keras_file = 'linear.h5'
keras.models.save_model(model, keras_file)

converter = lite.TocoConverter.from_keras_model_file(keras_file)
tflite_model = converter.convert()
open('linear.tflite', 'wb').write(tflite_model)

这将创建一个名为linear.tflite的二进制文件,我应该能够加载它。

为我的机器编译TensorFlow Lite

TensorFlow Lite附带了一个脚本,用于在具有aarch 64架构的机器上编译。我按照这里的指南来做这件事,即使我不得不稍微修改Makefile。请注意,我是在目标系统上本机编译的。这创建了一个静态库,名为libtenorflow-lite. a

问题:推理

我试着按照网站上的教程来做,只是简单地粘贴了加载和运行模型时的代码片段,例如。

class FlatBufferModel {
  // Build a model based on a file. Return a nullptr in case of failure.
  static std::unique_ptr<FlatBufferModel> BuildFromFile(
      const char* filename,
      ErrorReporter* error_reporter);

  // Build a model based on a pre-loaded flatbuffer. The caller retains
  // ownership of the buffer and should keep it alive until the returned object
  // is destroyed. Return a nullptr in case of failure.
  static std::unique_ptr<FlatBufferModel> BuildFromBuffer(
      const char* buffer,
      size_t buffer_size,
      ErrorReporter* error_reporter);
};

tflite::FlatBufferModel model("./linear.tflite");

tflite::ops::builtin::BuiltinOpResolver resolver;
std::unique_ptr<tflite::Interpreter> interpreter;
tflite::InterpreterBuilder(*model, resolver)(&interpreter);

// Resize input tensors, if desired.
interpreter->AllocateTensors();

float* input = interpreter->typed_input_tensor<float>(0);
// Fill `input`.

interpreter->Invoke();

float* output = interpreter->typed_output_tensor<float>(0);

当试图通过

g++ demo.cpp libtensorflow-lite.a

我犯了很多错误。日志:

root@localhost:/inference# g++ demo.cpp libtensorflow-lite.a 
demo.cpp:3:15: error: ‘unique_ptr’ in namespace ‘std’ does not name a template type
   static std::unique_ptr<FlatBufferModel> BuildFromFile(
               ^~~~~~~~~~
demo.cpp:10:15: error: ‘unique_ptr’ in namespace ‘std’ does not name a template type
   static std::unique_ptr<FlatBufferModel> BuildFromBuffer(
               ^~~~~~~~~~
demo.cpp:16:1: error: ‘tflite’ does not name a type
 tflite::FlatBufferModel model("./linear.tflite");
 ^~~~~~
demo.cpp:18:1: error: ‘tflite’ does not name a type
 tflite::ops::builtin::BuiltinOpResolver resolver;
 ^~~~~~
demo.cpp:19:6: error: ‘unique_ptr’ in namespace ‘std’ does not name a template type
 std::unique_ptr<tflite::Interpreter> interpreter;
      ^~~~~~~~~~
demo.cpp:20:1: error: ‘tflite’ does not name a type
 tflite::InterpreterBuilder(*model, resolver)(&interpreter);
 ^~~~~~
demo.cpp:23:1: error: ‘interpreter’ does not name a type
 interpreter->AllocateTensors();
 ^~~~~~~~~~~
demo.cpp:25:16: error: ‘interpreter’ was not declared in this scope
 float* input = interpreter->typed_input_tensor<float>(0);
                ^~~~~~~~~~~
demo.cpp:25:48: error: expected primary-expression before ‘float’
 float* input = interpreter->typed_input_tensor<float>(0);
                                                ^~~~~
demo.cpp:28:1: error: ‘interpreter’ does not name a type
 interpreter->Invoke();
 ^~~~~~~~~~~
demo.cpp:30:17: error: ‘interpreter’ was not declared in this scope
 float* output = interpreter->typed_output_tensor<float>(0);
                 ^~~~~~~~~~~
demo.cpp:30:50: error: expected primary-expression before ‘float’
 float* output = interpreter->typed_output_tensor<float>(0);

我对C比较陌生,所以我可能错过了一些明显的东西。然而,其他人似乎也有使用C API的问题(看看这个GitHub问题)。有没有人偶然发现这个并让它运行?

对我来说,最重要的方面是:

1.)在何处以及如何定义签名,以便模型知道将什么作为输入和输出?

2.)我必须包括哪些标题?

谢谢!

编辑

感谢@Alex Cohn,链接器能够找到正确的标题。我也意识到我可能不需要重新定义平板缓冲区类,所以我最终得到了这段代码(小变化被标记):

#include "tensorflow/lite/interpreter.h"
#include "tensorflow/lite/kernels/register.h"
#include "tensorflow/lite/model.h"
#include "tensorflow/lite/tools/gen_op_registration.h"

auto model = tflite::FlatBufferModel::BuildFromFile("linear.tflite");   //CHANGED

tflite::ops::builtin::BuiltinOpResolver resolver;
std::unique_ptr<tflite::Interpreter> interpreter;
tflite::InterpreterBuilder(*model, resolver)(&interpreter);

// Resize input tensors, if desired.
interpreter->AllocateTensors();

float* input = interpreter->typed_input_tensor<float>(0);
// Fill `input`.

interpreter->Invoke();

float* output = interpreter->typed_output_tensor<float>(0);

这大大减少了错误的数量,但我不知道如何解决其余的问题:

root@localhost:/inference# g++ demo.cpp -I/tensorflow
demo.cpp:10:34: error: expected ‘)’ before ‘,’ token
 tflite::InterpreterBuilder(*model, resolver)(&interpreter);
                                  ^
demo.cpp:10:44: error: expected initializer before ‘)’ token
 tflite::InterpreterBuilder(*model, resolver)(&interpreter);
                                            ^
demo.cpp:13:1: error: ‘interpreter’ does not name a type
 interpreter->AllocateTensors();
 ^~~~~~~~~~~
demo.cpp:18:1: error: ‘interpreter’ does not name a type
 interpreter->Invoke();
 ^~~~~~~~~~~

我要怎么解决这些问题?似乎我必须定义我自己的解析器,但我不知道如何做到这一点。

共有2个答案

阴飞星
2023-03-14

以下是包含的最小集合:

#include "tensorflow/lite/interpreter.h"
#include "tensorflow/lite/kernels/register.h"
#include "tensorflow/lite/model.h"
#include "tensorflow/lite/tools/gen_op_registration.h"

这些将包括其他标题,例如

艾才良
2023-03-14

我终于让它运行了。考虑到我的目录结构看起来像这样:

/(root)
    /tensorflow
        # whole tf repo
    /demo
        demo.cpp
        linear.tflite
        libtensorflow-lite.a

我改变了演示。cpp至

#include <stdio.h>
#include "tensorflow/lite/interpreter.h"
#include "tensorflow/lite/kernels/register.h"
#include "tensorflow/lite/model.h"
#include "tensorflow/lite/tools/gen_op_registration.h"

int main(){

    std::unique_ptr<tflite::FlatBufferModel> model = tflite::FlatBufferModel::BuildFromFile("linear.tflite");

    if(!model){
        printf("Failed to mmap model\n");
        exit(0);
    }

    tflite::ops::builtin::BuiltinOpResolver resolver;
    std::unique_ptr<tflite::Interpreter> interpreter;
    tflite::InterpreterBuilder(*model.get(), resolver)(&interpreter);

    // Resize input tensors, if desired.
    interpreter->AllocateTensors();

    float* input = interpreter->typed_input_tensor<float>(0);
    // Dummy input for testing
    *input = 2.0;

    interpreter->Invoke();

    float* output = interpreter->typed_output_tensor<float>(0);

    printf("Result is: %f\n", *output);

    return 0;
}

此外,我还必须修改我的compile命令(我必须手动安装flatbuffers以使其工作)。对我起作用的是:

g++ demo.cpp -I/tensorflow -L/demo -ltensorflow-lite -lrt -ldl -pthread -lflatbuffers -o demo

感谢@AlexCohn让我走上正轨!

 类似资料:
  • 我正在尝试使用我的RTX 2060 Super与Keras进行预测。出于某种原因,它似乎在我的CPU上运行。 这是我用来调试的测试脚本: 以下是打印到控制台的结果: 下面是一个屏幕截图,显示了我在Task Manager中的CPU和GPU利用率: 任何帮助都将不胜感激!

  • 我已经使用OWL API4.1.3加载了我的本体,它并不大。由于需要使用推断信息,我还使用Hermit1.3.8.413库进行了推理。下面的代码显示了我是如何完成的。 它不会抛出任何错误,但它需要将推断出的本体存储在一个新文件中。事实上,即使在2天后,它也没有完成工作。我的IDE是eclipse EE,我为运行这个应用程序提供了6到12 GB的内存。我找不到任何问题与我的代码或我的本体。

  • 本文向大家介绍百度实时推送api接口应用示例,包括了百度实时推送api接口应用示例的使用技巧和注意事项,需要的朋友参考一下 网站质量不错的网站可以在百度站长平台/数据提交/sitemap栏目下看到实时推送的功能, 目前这个工具是邀请开放, 百度的实时推送的api接口可以实时推送我们新发布的文章, 保证百度在第一时间收录.   百度站长平台 http://zhanzhang.baidu.com/ 打

  • 我想我仍然对OWL公理有一个基本的误解:(。 下面是我创建的一个小测试本体论: 当我在Protege中运行hermitreasoner时,我得到了的预期结果,即它是的成员。但是,就成为的成员而言,我对没有同样的感受。 我怀疑这与开放世界的假设有关,并且有可能可能还有另一个断言。有几个问题: 我诊断的问题正确吗? 我能得到一个例子,说明我如何让我的目标隐士推理是的成员,而不显式地做出断言吗? 谢啦

  • 问题内容: 我必须能够打印许多节点之间的路线,能够查询节点之间的距离以获得最佳的路线计算以及在地图上显示自定义图标的要求。 重要的是要有一个关于道路和街道的准确的地图源。 我研究了开放的街道地图,但恐怕它可能并不完全准确。商业图书馆/ API的任何建议将不胜感激(只要使用起来直观且不会将您锁定在功能方面) 我开始使用Google Maps API进行调查。我将在内部使用最终应用程序,并且需要付费(

  • 本文向大家介绍基于JSONP原理解析(推荐),包括了基于JSONP原理解析(推荐)的使用技巧和注意事项,需要的朋友参考一下 前言 我工作以来接触的第一个项目就是前后端分离的,前端静态文件有自己独立域名,通过接口来获取数据进行渲染等操作。 跨域的方法不需要多言,随便一搜,就有很多,但最常用不外乎jsonp和CORS。jsonp着重于前端,也算是前端Hack技巧,CORS重于后端,服务端需要配置的地方