Tensor Flow Lite C++ API 介绍
Posted 17岁boy想当攻城狮
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Tensor Flow Lite C++ API 介绍相关的知识，希望对你有一定的参考价值。
目录
Class类介绍
| 类名 | 作用 |
|---|---|
| tflite::ErrorReporter | 用于汇报错误，当发生错误时可以通过此类获取错误信息 |
| tflite::FlatBufferModel | 用于序列化模型 |
| tflite::Interpreter | 从张量输入和输出的节点图的解释器 |
| tflite::InterpreterBuilder | 构建一个能够解释模型的解释器 |
| tflite::OpResolver | 给定操作码或自定义操作名称返回 TfLiteRegistrations 的抽象接口 |
tflite::ErrorReporter
头文件路径
#include <error_reporter.h>类作用
用于汇报错误，当发生错误时可以通过此类获取错误信息
Public API介绍
| 函数原型 | 作用 | 返回值 |
|---|---|---|
| Report(const char *format, ...) | 向错误日志输出一串字符串 | VOID |
| ReportError(void *, const char *format, ...) | 将字符串输出到指定位置 | VOID |
示例
调用类似于 printf。
用法：ErrorReporter foo; foo.Report("测试%d", 5); 或 va_list 参数； foo.Report("test %d", args); // 其中 args 是 va_list
子类 ErrorReporter 以提供另一个报告目标。 例如，如果您有一个 GUI 程序，您可能会重定向到驱动 GUI 错误日志框的缓冲区。
//输出数据
ErrorReporter foo;
foo.Report("测试%d", 5);tflite::FlatBufferModel
头文件路径
#include <model_builder.h>类作用
用于序列化模型
Public Static API介绍
| 函数原型 | 返回值 | 作用 |
|---|---|---|
| FlatBufferModel(const FlatBufferModel &) | void | 构造函数 |
| ~FlatBufferModel() | void | 析构函数 |
| BuildFromAllocation(std::unique_ptr< Allocation > allocation, ErrorReporter *error_reporter) | std::unique_ptr< FlatBufferModel > | 直接从分配中构建模型 |
| BuildFromBuffer(const char *caller_owned_buffer, size_t buffer_size, ErrorReporter *error_reporter) | std::unique_ptr< FlatBufferModel > | 基于预加载的 flatbuffer 构建模型 |
| BuildFromFile(const char *filename, ErrorReporter *error_reporter) | std::unique_ptr< FlatBufferModel > | 基于文件构建模型 |
| BuildFromModel(const tflite::Model *caller_owned_model_spec, ErrorReporter *error_reporter) | std::unique_ptr< FlatBufferModel > | 直接从 flatbuffer 指针构建模型调用者保留缓冲区的所有权，并应使其保持活动状态，直到返回的对象被销毁 |
| VerifyAndBuildFromAllocation(std::unique_ptr< Allocation > allocation, TfLiteVerifier *extra_verifier, ErrorReporter *error_reporter) | std::unique_ptr< FlatBufferModel > | 验证分配的内容是否合法，然后根据提供的分配构建模型 |
| VerifyAndBuildFromBuffer(const char *caller_owned_buffer, size_t buffer_size, TfLiteVerifier *extra_verifier, ErrorReporter *error_reporter) | std::unique_ptr< FlatBufferModel > | 验证缓冲区的内容是否合法，然后根据预加载的 flatbuffer 构建模型 |
| VerifyAndBuildFromFile(const char *filename, TfLiteVerifier *extra_verifier, ErrorReporter *error_reporter) | std::unique_ptr< FlatBufferModel > | 验证文件内容是否合法，然后基于文件构建模型 |
Public API介绍
| 函数原型 | 返回值 | 作用 |
|---|---|---|
| 函数原型 | 返回值 | 作用 |
| CheckModelIdentifier() const | bool | 如果模型标识符正确则返回真（否则为假并报告错误） |
| GetMinimumRuntime() const | std::string | 获取最小运行时间 |
| GetModel() const | const tflite::Model * | 获取序列化的模型指针 |
| allocation() const | const Allocation * | 获取分配的内存空间 |
| error_reporter() const | ErrorReporter * | 获取错误报告类指针 |
| initialized() const | bool | 初始化 |
| operator->() const | const tflite::Model * | ->操作符实现 |
| operator=(const FlatBufferModel &)=delete | FlatBufferModel & | =操作符实现 |
示例
这使用 flatbuffers 作为序列化格式。
注意：当前的 API 要求客户端保持 FlatBufferModel 实例处于活动状态，只要它被任何依赖的 Interpreter 实例使用。 由于 FlatBufferModel 实例在创建后实际上是不可变的，因此客户端可以安全地使用具有多个依赖 Interpreter 实例的单个模型，甚至跨多个线程（但请注意，每个 Interpreter 实例都不是线程安全的）。
using namespace tflite;
StderrReporter error_reporter;
auto model = FlatBufferModel::BuildFromFile("interesting_model.tflite",
&error_reporter);
MyOpResolver resolver; // 你需要继承 OpResolver 以提供实现
InterpreterBuilder builder(*model, resolver);
std::unique_ptr interpreter;
if(builder(&interpreter) == kTfLiteOk) {
//.. run model inference with interpreter
}tflite::Interpreter
头文件路径
#include <interpreter.h>类作用
从张量输入和输出的节点图的解释器
Public 类型
| 变量名 | 原型 | 作用 |
|---|---|---|
| TfLiteDelegatePtr | using std::unique_ptr< TfLiteDelegate, void(*)(TfLiteDelegate *)> | 委托类型 |
Public Static 属性变量
| 变量名 | 返回值 | 作用 |
|---|---|---|
| kTensorsCapacityHeadroom = 16 | constexpr int | 在调用 ops 的准备和调用函数之前 tensors_ 向量的容量余量 |
| kTensorsReservedCapacity = 128 | constexpr int | 张量预留容量 |
Friend 类
| 类名 |
|---|
| tflite::InterpreterTest |
| tflite::delegates::InterpreterUtils |
| tflite::delegates::test_utils::TestDelegation |
Public API介绍
| 函数原型 | 返回值 | 作用 |
|---|---|---|
| 函数原型 | 返回值 | 作用 |
| AllocateTensors() | TfLiteStatus | 获取TfLiteStatus副本 |
| EnsureTensorDataIsReadable(int tensor_index) | TfLiteStatus | 确保 tensor.data 中的数据可读 |
| GetAllowFp16PrecisionForFp32() const | bool | 获取半精度标志 |
| GetBufferHandle(int tensor_index, TfLiteBufferHandle *buffer_handle, TfLiteDelegate **delegate) | TfLiteStatus | 获取委托缓冲区句柄，以及可以处理缓冲区句柄的委托 |
| GetInputName(int index) const | const char * | 返回给定输入的名称 |
| GetOutputName(int index) const | const char * | 返回给定输出的名称 |
| GetProfiler() | Profiler * | 获取用于操作跟踪的探查器 |
| Invoke() | TfLiteStatus | 调用解释器（按依赖顺序运行整个图） |
| ModifyGraphWithDelegate(TfLiteDelegate *delegate) | TfLiteStatus | 允许委托查看图形并修改图形以自行处理图形的某些部分 |
| ModifyGraphWithDelegate(std::unique_ptr<Delegate,Deleter>delegate) | TfLiteStatus | 与 ModifyGraphWithDelegate 相同，但此解释器拥有提供的委托的所有权 |
| ModifyGraphWithDelegate(std::unique_ptr< TfLiteDelegate > delegate)=delete | TfLiteStatus | 这种超载永远不会好 |
| OpProfilingString(const TfLiteRegistration & op_reg, const TfLiteNode *node) const | const char * | 检索操作员对其工作的描述，用于分析目的 |
| ReleaseNonPersistentMemory() | TfLiteStatus | 警告：实验界面，可能会发生变化 |
| ResetVariableTensors() | TfLiteStatus | 将所有变量张量重置为默认值 |
| ResizeInputTensor(int tensor_index, const std::vector< int > & dims) | TfLiteStatus | 改变给定张量的维度 |
| ResizeInputTensorStrict(int tensor_index, const std::vector<int> & dims) | TfLiteStatus | 需要调用 AllocateTensors() 来更改张量输入缓冲区 |
| SetAllowBufferHandleOutput(bool allow_buffer_handle_output) | void | 设置是否允许缓冲区句柄输出 |
| SetAllowFp16PrecisionForFp32(bool allow) | void | Allow float16 precision for FP32 calculation when possible |
| SetBufferHandle(int tensor_index, TfLiteBufferHandle buffer_handle, TfLiteDelegate *delegate) | TfLiteStatus | 将委托缓冲区句柄设置为张量 |
| SetCancellationFunction(void *data, bool(*)(void *) check_cancelled_func) | void | 设置取消函数指针，以便在调用 Invoke() 的过程中取消请求 |
| SetCustomAllocationForTensor(int tensor_index, const TfLiteCustomAllocation & allocation, int64_t flags) | TfLiteStatus | 为张量设置自定义位置 |
| SetExternalContext(TfLiteExternalContextType type, TfLiteExternalContext *ctx) | void | 设置外部上下文 |
| SetNumThreads(int num_threads) | TfLiteStatus | 设置解释器可用的线程数 |
| SetProfiler(Profiler *profiler) | void | 将探查器设置为跟踪执行 |
| SetProfiler(std::unique_ptr< Profiler > profiler) | void | 与 SetProfiler 相同，但此解释器拥有提供的分析器的所有权 |
| execution_plan() const | const std::vector< int > & | 执行计划 |
| input_tensor(size_t index) | TfLiteTensor * | 返回一个指向给定输入张量的可变指针 |
| input_tensor(size_t index) const | const TfLiteTensor * | 返回一个指向给定输入张量的不可变指针 |
| input_tensor_by_signature_name(const char *signature_input_name, const char *signature_method_name) | TfLiteTensor * | 警告：实验性接口，可能会更改返回由“signature_method_name”标识的签名中由“signature_input_name”标识的输入张量 |
| inputs() const | const std::vector< int > & | 对输入列表的只读访问权限 |
| node_and_registration(int node_index) const | const std::pair< TfLiteNode, TfLiteRegistration > * | 如果在边界内，则获取指向操作和注册数据结构的指针 |
| nodes_size() const | size_t | 返回模型中的操作数 |
| operator=(const Interpreter &)=delete | Interpreter & | =重载运算符 |
| output_tensor(size_t index) | TfLiteTensor * | 返回一个指向给定输出张量的可变指针 |
| output_tensor(size_t index) const |
| 返回一个指向给定输出张量的不可变指针 |
| output_tensor_by_signature_name(const char *signature_output_name, const char *signature_method_name) const | const TfLiteTensor * | 警告：实验性接口，可能会更改返回由“signature_method_name”标识的签名中由“signature_output_name”标识的输出张量 |
| outputs() const | const std::vector< int > & | 只读访问输出列表 |
| signature_def_names() const | std::vector< const std::string * > | 警告：实验性接口，可能会更改返回模型中定义的不同方法签名的所有名称的列表 |
| signature_inputs(const char *method_name) const | const std::map< std::string, uint32_t > & | 警告：实验性接口，可能会发生变化返回输入到通过“method_name”指定的签名中的张量索引的映射 |
| signature_outputs(const char *method_name) const | const std::map< std::string, uint32_t > & | 警告：实验性接口，可能会发生变化返回输出到通过“method_name”指定的签名中的张量索引的映射 |
| tensor(int tensor_index) | TfLiteTensor * | 获取可变张量数据结构 |
| tensor(int tensor_index) const | const TfLiteTensor * | 等一个不可变的张量数据结构 |
| tensors_size() const | size_t | 返回模型中张量的数量 |
| typed_input_tensor(int index) | T * | 将输入量量返回给定输入的数据中 |
| typed_input_tensor(int index) const | const T * | 返回一个指向给定输入张量数据的不可变指针 |
| typed_output_tensor(int index) | T * | 返回指向给定输出张量数据的可变指针 |
| typed_output_tensor(int index) const | const T * | 返回一个指向给定输出张量数据的不可变指针 |
| typed_tensor(int tensor_index) | T * | 对适当的张量类型（可变指针版本）执行检查转换 |
| typed_tensor(int tensor_index) const | const T * | 对适当的张量类型（不可变指针版本）执行检查转换 |
| variables() const | const std::vector< int > & | 只读访问变量张量列表 |
示例
图的每个节点处理一组输入张量并产生一组输出张量。 所有输入/输出张量都由索引引用
// 从文件创建模型
// 注意，模型实例必须比解释器实例存活时间更长
auto model = tflite::FlatBufferModel::BuildFromFile(...);
if (model == nullptr) {
// 返回错误
}
// Create an Interpreter with an InterpreterBuilder.
std::unique_ptr interpreter;
tflite::ops::builtin::BuiltinOpResolver resolver;
if (InterpreterBuilder(*model, resolver)(&interpreter) != kTfLiteOk) {
// 返回失败
}
if (interpreter->AllocateTensors() != kTfLiteOk) {
// 返回失败
}
auto input = interpreter->typed_tensor(0);
for (int i = 0; i < input_size; i++) {
input[i] = ...; interpreter.Invoke();tflite::InterpreterBuilder
头文件路径
#include <interpreter_builder.h>类作用
构建一个能够解释模型的解释器
Public API介绍
| AddDelegate(TfLiteDelegate *delegate) | void | 任何使用 AddDelegate 添加的委托都将按添加顺序应用于由 operator() 生成的解释器 |
| PreserveAllTensorsExperimental() | InterpreterBuilder & | 启用保留中间体以进行调试 |
| SetNumThreads(int num_threads) | TfLiteStatus | 设置用于解释器的 CPU 线程数 |
| operator()(std::unique_ptr< Interpreter > *interpreter) | TfLiteStatus | 构建一个解释器并将其存储在 *interpreter 中 |
| operator()(std::unique_ptr< Interpreter > *interpreter, int num_threads) | TfLiteStatus | 与上面相同，但还设置要使用的 CPU 线程数（覆盖之前对 SetNumThreads 的任何调用） |
| operator=(const InterpreterBuilder &)=delete | InterpreterBuilder & | =重载运算符 |
备注
生命周期必须至少与构建器创建的任何解释器一样长的模型。原则上，多个解释器可以由单个模型构成。 op_resolver：实现 OpResolver 接口的实例，它将自定义操作名称和内置操作代码映射到操作注册。提供的 op_resolver 对象的生命周期必须至少与 InterpreterBuilder 一样长；与 model 和 error_reporter 不同， op_resolver 不需要在任何创建的 Interpreter 对象的持续时间内存在。 error_reporter：一个被调用来报告处理 printf var arg 语义的错误的函子。 error_reporter 对象的生命周期必须大于或等于由 operator() 创建的 Interpreter。
成功时返回 kTfLiteOk 并将解释器设置为有效的解释器。注意：用户必须确保模型（和错误报告器，如果提供）的生命周期至少与解释器的生命周期一样长，并且单个模型实例可以安全地与多个解释器一起使用。
tflite::OpResolver
头文件路径
#include <op_resolver.h>类作用
给定操作码或自定义操作名称返回 TfLiteRegistrations 的抽象接口
Public 类型
| 变量名 | 原型 | 作用 |
|---|---|---|
| 变量名 | 原型 | 作用 |
| TfLiteDelegatePtrVector | usingstd::vector< std::unique_ptr< TfLiteDelegate, void(*)(TfLiteDelegate *)>> | 委托 Ptr 向量 |
Public API介绍
| ~OpResolver() | void | 析构函数 |
| FindOp(tflite::BuiltinOperator op, int version) const =0 | virtual const TfLiteRegistration * | 通过枚举代码查找内置运算符的操作注册，纯虚函数用户必须继承然后实现这个方法 |
| FindOp(const char *op, int version) const =0 | virtual const TfLiteRegistration * | 按操作名称查找自定义运算符的操作注册，纯虚函数用户必须继承然后实现这个方法 |
| GetDelegates(int num_threads) const | virtual TfLiteDelegatePtrVector | 获取委托 |
备注
这是在 flatbuffer 模型中引用的操作映射到可执行函数指针 (TfLiteRegistrations) 的机制
以上是关于Tensor Flow Lite C++ API 介绍的主要内容，如果未能解决你的问题，请参考以下文章