登录
当前位置： 首页 > 工具软件 > lite-flow > 使用案例 >

Tensor Flow Lite C++ API 介绍

丌官霖
2023-12-01

目录

Class类介绍

tflite::ErrorReporter

头文件路径

类作用

Public API介绍

示例

tflite::FlatBufferModel

头文件路径

类作用

Public Static API介绍

Public API介绍

示例

tflite::Interpreter

头文件路径

类作用

Public 类型

Public Static 属性变量

Friend 类

Public API介绍

示例

tflite::InterpreterBuilder

头文件路径

类作用

Public API介绍

备注

tflite::OpResolver

头文件路径

Public 类型

备注

Class类介绍

类名

作用

tflite::ErrorReporter用于汇报错误，当发生错误时可以通过此类获取错误信息
tflite::FlatBufferModel用于序列化模型
tflite::Interpreter从张量输入和输出的节点图的解释器
tflite::InterpreterBuilder构建一个能够解释模型的解释器
tflite::OpResolver给定操作码或自定义操作名称返回 TfLiteRegistrations 的抽象接口

tflite::ErrorReporter

头文件路径

#include <error_reporter.h>

类作用

用于汇报错误，当发生错误时可以通过此类获取错误信息

Public API介绍

函数原型

作用

返回值

Report(const char *format, ...)

向错误日志输出一串字符串VOID

ReportError(void *, const char *format, ...)

将字符串输出到指定位置VOID

示例

调用类似于 printf。

用法：ErrorReporter foo; foo.Report("测试%d", 5); 或 va_list 参数； foo.Report("test %d", args); // 其中 args 是 va_list

子类 ErrorReporter 以提供另一个报告目标。 例如，如果您有一个 GUI 程序，您可能会重定向到驱动 GUI 错误日志框的缓冲区。

//输出数据
ErrorReporter foo;
foo.Report("测试%d", 5);

tflite::FlatBufferModel

头文件路径

#include <model_builder.h>

类作用

用于序列化模型

Public Static API介绍

函数原型

返回值

作用

FlatBufferModel(const FlatBufferModel &)

void

构造函数

~FlatBufferModel()

void

析构函数

BuildFromAllocation(std::unique_ptr< Allocation > allocation, ErrorReporter *error_reporter)

std::unique_ptr< FlatBufferModel >

直接从分配中构建模型

BuildFromBuffer(const char *caller_owned_buffer, size_t buffer_size, ErrorReporter *error_reporter)

std::unique_ptr< FlatBufferModel >

基于预加载的 flatbuffer 构建模型

BuildFromFile(const char *filename, ErrorReporter *error_reporter)

std::unique_ptr< FlatBufferModel >

基于文件构建模型

BuildFromModel(const tflite::Model *caller_owned_model_spec, ErrorReporter *error_reporter)

std::unique_ptr< FlatBufferModel >

直接从 flatbuffer 指针构建模型调用者保留缓冲区的所有权，并应使其保持活动状态，直到返回的对象被销毁

VerifyAndBuildFromAllocation(std::unique_ptr< Allocation > allocation, TfLiteVerifier *extra_verifier, ErrorReporter *error_reporter)

std::unique_ptr< FlatBufferModel >

验证分配的内容是否合法，然后根据提供的分配构建模型

VerifyAndBuildFromBuffer(const char *caller_owned_buffer, size_t buffer_size, TfLiteVerifier *extra_verifier, ErrorReporter *error_reporter)

std::unique_ptr< FlatBufferModel >

验证缓冲区的内容是否合法，然后根据预加载的 flatbuffer 构建模型

VerifyAndBuildFromFile(const char *filename, TfLiteVerifier *extra_verifier, ErrorReporter *error_reporter)

std::unique_ptr< FlatBufferModel >

验证文件内容是否合法，然后基于文件构建模型

Public API介绍

函数原型

返回值

作用

函数原型

返回值

作用

CheckModelIdentifier() constbool如果模型标识符正确则返回真（否则为假并报告错误）
GetMinimumRuntime() conststd::string获取最小运行时间
GetModel() constconst tflite::Model *获取序列化的模型指针
allocation() constconst Allocation *获取分配的内存空间
error_reporter() constErrorReporter *获取错误报告类指针
initialized() constbool初始化
operator->() constconst tflite::Model *->操作符实现
operator=(const FlatBufferModel &)=deleteFlatBufferModel &=操作符实现

示例

这使用 flatbuffers 作为序列化格式。

注意：当前的 API 要求客户端保持 FlatBufferModel 实例处于活动状态，只要它被任何依赖的 Interpreter 实例使用。 由于 FlatBufferModel 实例在创建后实际上是不可变的，因此客户端可以安全地使用具有多个依赖 Interpreter 实例的单个模型，甚至跨多个线程（但请注意，每个 Interpreter 实例都不是线程安全的）。

using namespace tflite;
StderrReporter error_reporter;
auto model = FlatBufferModel::BuildFromFile("interesting_model.tflite",
                                            &error_reporter);
MyOpResolver resolver;  // 你需要继承 OpResolver 以提供实现
  
InterpreterBuilder builder(*model, resolver);
std::unique_ptr interpreter;
if(builder(&interpreter) == kTfLiteOk) {
  //.. run model inference with interpreter
}

tflite::Interpreter

头文件路径

#include <interpreter.h>

类作用

从张量输入和输出的节点图的解释器

Public 类型

变量名

原型

作用

TfLiteDelegatePtrusing std::unique_ptr< TfLiteDelegate, void(*)(TfLiteDelegate *)>委托类型

Public Static 属性变量

变量名

返回值

作用

kTensorsCapacityHeadroom = 16constexpr int在调用 ops 的准备和调用函数之前 tensors_ 向量的容量余量
kTensorsReservedCapacity = 128constexpr int张量预留容量

Friend 类

类名

tflite::InterpreterTest
tflite::delegates::InterpreterUtils
tflite::delegates::test_utils::TestDelegation

Public API介绍

函数原型

返回值

作用

函数原型

返回值

作用

AllocateTensors() 
TfLiteStatus
获取TfLiteStatus副本
EnsureTensorDataIsReadable(int tensor_index)TfLiteStatus确保 tensor.data 中的数据可读
GetAllowFp16PrecisionForFp32() constbool获取半精度标志
GetBufferHandle(int tensor_index, TfLiteBufferHandle *buffer_handle, TfLiteDelegate **delegate)TfLiteStatus获取委托缓冲区句柄，以及可以处理缓冲区句柄的委托
GetInputName(int index) constconst char *返回给定输入的名称
GetOutputName(int index) constconst char *返回给定输出的名称
GetProfiler()Profiler *获取用于操作跟踪的探查器
Invoke()TfLiteStatus调用解释器（按依赖顺序运行整个图）
ModifyGraphWithDelegate(TfLiteDelegate *delegate)TfLiteStatus允许委托查看图形并修改图形以自行处理图形的某些部分
ModifyGraphWithDelegate(std::unique_ptr<Delegate,Deleter>delegate)TfLiteStatus与 ModifyGraphWithDelegate 相同，但此解释器拥有提供的委托的所有权
ModifyGraphWithDelegate(std::unique_ptr< TfLiteDelegate > delegate)=deleteTfLiteStatus这种超载永远不会好
OpProfilingString(const TfLiteRegistration & op_reg, const TfLiteNode *node) constconst char *检索操作员对其工作的描述，用于分析目的
ReleaseNonPersistentMemory()TfLiteStatus警告：实验界面，可能会发生变化
ResetVariableTensors()TfLiteStatus将所有变量张量重置为默认值
ResizeInputTensor(int tensor_index, const std::vector< int > & dims)TfLiteStatus改变给定张量的维度
ResizeInputTensorStrict(int tensor_index, const std::vector<int> & dims)TfLiteStatus需要调用 AllocateTensors() 来更改张量输入缓冲区
SetAllowBufferHandleOutput(bool allow_buffer_handle_output)void设置是否允许缓冲区句柄输出
SetAllowFp16PrecisionForFp32(bool allow)voidAllow float16 precision for FP32 calculation when possible
SetBufferHandle(int tensor_index, TfLiteBufferHandle buffer_handle, TfLiteDelegate *delegate)TfLiteStatus将委托缓冲区句柄设置为张量
SetCancellationFunction(void *data, bool(*)(void *) check_cancelled_func)void设置取消函数指针，以便在调用 Invoke() 的过程中取消请求
SetCustomAllocationForTensor(int tensor_index, const TfLiteCustomAllocation & allocation, int64_t flags)TfLiteStatus为张量设置自定义位置
SetExternalContext(TfLiteExternalContextType type, TfLiteExternalContext *ctx)void设置外部上下文
SetNumThreads(int num_threads)TfLiteStatus设置解释器可用的线程数
SetProfiler(Profiler *profiler)void将探查器设置为跟踪执行
SetProfiler(std::unique_ptr< Profiler > profiler)void与 SetProfiler 相同，但此解释器拥有提供的分析器的所有权
execution_plan() constconst std::vector< int > &执行计划
input_tensor(size_t index)TfLiteTensor *返回一个指向给定输入张量的可变指针
input_tensor(size_t index) constconst TfLiteTensor *返回一个指向给定输入张量的不可变指针
input_tensor_by_signature_name(const char *signature_input_name, const char *signature_method_name)TfLiteTensor *警告：实验性接口，可能会更改返回由“signature_method_name”标识的签名中由“signature_input_name”标识的输入张量
inputs() constconst std::vector< int > &对输入列表的只读访问权限
node_and_registration(int node_index) constconst std::pair< TfLiteNode, TfLiteRegistration > *如果在边界内，则获取指向操作和注册数据结构的指针
nodes_size() constsize_t返回模型中的操作数
operator=(const Interpreter &)=deleteInterpreter &=重载运算符
output_tensor(size_t index)TfLiteTensor *返回一个指向给定输出张量的可变指针
output_tensor(size_t index) const

const TfLiteTensor *

返回一个指向给定输出张量的不可变指针
output_tensor_by_signature_name(const char *signature_output_name, const char *signature_method_name) constconst TfLiteTensor *警告：实验性接口，可能会更改返回由“signature_method_name”标识的签名中由“signature_output_name”标识的输出张量
outputs() constconst std::vector< int > &只读访问输出列表
signature_def_names() conststd::vector< const std::string * >警告：实验性接口，可能会更改返回模型中定义的不同方法签名的所有名称的列表
signature_inputs(const char *method_name) constconst std::map< std::string, uint32_t > &警告：实验性接口，可能会发生变化返回输入到通过“method_name”指定的签名中的张量索引的映射
signature_outputs(const char *method_name) constconst std::map< std::string, uint32_t > &警告：实验性接口，可能会发生变化返回输出到通过“method_name”指定的签名中的张量索引的映射
tensor(int tensor_index)TfLiteTensor *获取可变张量数据结构
tensor(int tensor_index) constconst TfLiteTensor *等一个不可变的张量数据结构
tensors_size() constsize_t返回模型中张量的数量
typed_input_tensor(int index)T *将输入量量返回给定输入的数据中
typed_input_tensor(int index) constconst T *返回一个指向给定输入张量数据的不可变指针
typed_output_tensor(int index)T *返回指向给定输出张量数据的可变指针
typed_output_tensor(int index) constconst T *返回一个指向给定输出张量数据的不可变指针
typed_tensor(int tensor_index)T *对适当的张量类型（可变指针版本）执行检查转换
typed_tensor(int tensor_index) constconst T *对适当的张量类型（不可变指针版本）执行检查转换
variables() constconst std::vector< int > &只读访问变量张量列表

示例

图的每个节点处理一组输入张量并产生一组输出张量。 所有输入/输出张量都由索引引用

// 从文件创建模型
// 注意，模型实例必须比解释器实例存活时间更长
auto model = tflite::FlatBufferModel::BuildFromFile(...);
if (model == nullptr) {
 // 返回错误
}
// Create an Interpreter with an InterpreterBuilder.
std::unique_ptr interpreter;
tflite::ops::builtin::BuiltinOpResolver resolver;
if (InterpreterBuilder(*model, resolver)(&interpreter) != kTfLiteOk) {
  // 返回失败
}
if (interpreter->AllocateTensors() != kTfLiteOk) {
// 返回失败
}
  
auto input = interpreter->typed_tensor(0);
for (int i = 0; i < input_size; i++) {
  input[i] = ...;  interpreter.Invoke();

tflite::InterpreterBuilder

头文件路径

#include <interpreter_builder.h>

类作用

构建一个能够解释模型的解释器

Public API介绍

AddDelegate(TfLiteDelegate *delegate)void任何使用 AddDelegate 添加的委托都将按添加顺序应用于由 operator() 生成的解释器
PreserveAllTensorsExperimental()InterpreterBuilder &启用保留中间体以进行调试
SetNumThreads(int num_threads)TfLiteStatus设置用于解释器的 CPU 线程数
operator()(std::unique_ptr< Interpreter > *interpreter)TfLiteStatus构建一个解释器并将其存储在 *interpreter 中
operator()(std::unique_ptr< Interpreter > *interpreter, int num_threads)TfLiteStatus与上面相同，但还设置要使用的 CPU 线程数（覆盖之前对 SetNumThreads 的任何调用）
operator=(const InterpreterBuilder &)=deleteInterpreterBuilder &=重载运算符

备注

生命周期必须至少与构建器创建的任何解释器一样长的模型。原则上，多个解释器可以由单个模型构成。 op_resolver：实现 OpResolver 接口的实例，它将自定义操作名称和内置操作代码映射到操作注册。提供的 op_resolver 对象的生命周期必须至少与 InterpreterBuilder 一样长；与 model 和 error_reporter 不同， op_resolver 不需要在任何创建的 Interpreter 对象的持续时间内存在。 error_reporter：一个被调用来报告处理 printf var arg 语义的错误的函子。 error_reporter 对象的生命周期必须大于或等于由 operator() 创建的 Interpreter。

成功时返回 kTfLiteOk 并将解释器设置为有效的解释器。注意：用户必须确保模型（和错误报告器，如果提供）的生命周期至少与解释器的生命周期一样长，并且单个模型实例可以安全地与多个解释器一起使用。

tflite::OpResolver

头文件路径

#include <op_resolver.h>

类作用

给定操作码或自定义操作名称返回 TfLiteRegistrations 的抽象接口

Public 类型

变量名

原型

作用

变量名

原型

作用

TfLiteDelegatePtrVectorusing
std::vector< std::unique_ptr< TfLiteDelegate, void(*)(TfLiteDelegate *)>>		委托 Ptr 向量

Public API介绍

~OpResolver()void析构函数
FindOp(tflite::BuiltinOperator op, int version) const =0virtual const TfLiteRegistration *通过枚举代码查找内置运算符的操作注册，纯虚函数用户必须继承然后实现这个方法
FindOp(const char *op, int version) const =0virtual const TfLiteRegistration *按操作名称查找自定义运算符的操作注册，纯虚函数用户必须继承然后实现这个方法
GetDelegates(int num_threads) constvirtual TfLiteDelegatePtrVector获取委托

备注

这是在 flatbuffer 模型中引用的操作映射到可执行函数指针 (TfLiteRegistrations) 的机制

 类似资料：

相关阅读

unity3d 介绍rx-java 介绍自我介绍介绍一下auc？React简单介绍

相关文章

Jsoup 介绍JasperReports 介绍Guava 介绍JavaTuples 介绍JFreeChart 介绍

相关问答

API具有多个中介实例时的中介模式PayPalREST APIMySQL选择Current_timestamp介于介绍几个开源的cms系统？

相关文档

Java 8 介绍性教程深信服移动终端 EasyApp SDK 介绍Linux 设备文件简介Node.js API 文档SuperMap Online Web API
快捷导航： 新手教程 算法原理 架构设计 Java进阶 数据库进阶 大厂专栏 面试经验 编程笔记 编程问答 所有专题 文档资料 工具软件 电子书籍 小牛导航
在线工具： 房贷计算器 个税计算器 Linux命令查询 Json格式化 正则表达式 颜色转换 AES加解密 SHA1加密 MD5加密 毒鸡汤 字数统计 随机密码生成 进制转换 Base64编解码 励志句子
Copyright © 2019-2024 小牛知识库@xnip.cn. All Rights Reserved.