Tensorflow C++ API实现MatMul矩阵相乘操作
Posted
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Tensorflow C++ API实现MatMul矩阵相乘操作相关的知识,希望对你有一定的参考价值。
参考技术A 其中include/tf_/tensor_testutil.h和tensor_testutil.cc是tensorflow-cc库自带的文件,但是编库的时候莫名没有编进去,链接不上,所以单提出来做自定义库了。然后我还在里面加了一个函数,
PrintTensorValue用来打印Tensor值,其他都是原生的。
CMakeLists.txt文件
include/tf_/tensor_testutil.h
include/tf_/tensor_testutil.cc
test_tf_session/tf_matmul_test.cpp
程序输出如下,
用于推理的 TensorFlow Lite C++ API 示例
【中文标题】用于推理的 TensorFlow Lite C++ API 示例【英文标题】:TensorFlow Lite C++ API example for inference 【发布时间】:2019-11-12 04:56:17 【问题描述】:我正在尝试让 TensorFlow Lite 示例在配备 ARM Cortex-A72 处理器的机器上运行。不幸的是,由于缺乏有关如何使用 C++ API 的示例,我无法部署测试模型。我将尝试解释我到目前为止所取得的成就。
创建 tflite 模型
我创建了一个简单的线性回归模型并对其进行了转换,它应该近似于函数f(x) = 2x - 1
。我从一些教程中得到了这个代码 sn-p,但我再也找不到了。
import tensorflow as tf
import numpy as np
from tensorflow import keras
from tensorflow.contrib import lite
model = keras.Sequential([keras.layers.Dense(units=1, input_shape=[1])])
model.compile(optimizer='sgd', loss='mean_squared_error')
xs = np.array([ -1.0, 0.0, 1.0, 2.0, 3.0, 4.0], dtype=float)
ys = np.array([ -3.0, -1.0, 1.0, 3.0, 5.0, 7.0], dtype=float)
model.fit(xs, ys, epochs=500)
print(model.predict([10.0]))
keras_file = 'linear.h5'
keras.models.save_model(model, keras_file)
converter = lite.TocoConverter.from_keras_model_file(keras_file)
tflite_model = converter.convert()
open('linear.tflite', 'wb').write(tflite_model)
这会创建一个名为 linear.tflite
的二进制文件,我应该可以加载它。
为我的机器编译 TensorFlow Lite
TensorFlow Lite 附带一个脚本,用于在采用 aarch64 架构的机器上进行编译。我按照指南here 执行此操作,即使我必须稍微修改 Makefile。请注意,我在目标系统上本机编译了它。这创建了一个名为 libtensorflow-lite.a
的静态库。
问题:推理
我尝试按照网站here上的教程,并简单地将加载和运行模型的代码sn-ps粘贴在一起,例如
class FlatBufferModel
// Build a model based on a file. Return a nullptr in case of failure.
static std::unique_ptr<FlatBufferModel> BuildFromFile(
const char* filename,
ErrorReporter* error_reporter);
// Build a model based on a pre-loaded flatbuffer. The caller retains
// ownership of the buffer and should keep it alive until the returned object
// is destroyed. Return a nullptr in case of failure.
static std::unique_ptr<FlatBufferModel> BuildFromBuffer(
const char* buffer,
size_t buffer_size,
ErrorReporter* error_reporter);
;
tflite::FlatBufferModel model("./linear.tflite");
tflite::ops::builtin::BuiltinOpResolver resolver;
std::unique_ptr<tflite::Interpreter> interpreter;
tflite::InterpreterBuilder(*model, resolver)(&interpreter);
// Resize input tensors, if desired.
interpreter->AllocateTensors();
float* input = interpreter->typed_input_tensor<float>(0);
// Fill `input`.
interpreter->Invoke();
float* output = interpreter->typed_output_tensor<float>(0);
当试图编译时通过
g++ demo.cpp libtensorflow-lite.a
我收到很多错误。日志:
root@localhost:/inference# g++ demo.cpp libtensorflow-lite.a
demo.cpp:3:15: error: ‘unique_ptr’ in namespace ‘std’ does not name a template type
static std::unique_ptr<FlatBufferModel> BuildFromFile(
^~~~~~~~~~
demo.cpp:10:15: error: ‘unique_ptr’ in namespace ‘std’ does not name a template type
static std::unique_ptr<FlatBufferModel> BuildFromBuffer(
^~~~~~~~~~
demo.cpp:16:1: error: ‘tflite’ does not name a type
tflite::FlatBufferModel model("./linear.tflite");
^~~~~~
demo.cpp:18:1: error: ‘tflite’ does not name a type
tflite::ops::builtin::BuiltinOpResolver resolver;
^~~~~~
demo.cpp:19:6: error: ‘unique_ptr’ in namespace ‘std’ does not name a template type
std::unique_ptr<tflite::Interpreter> interpreter;
^~~~~~~~~~
demo.cpp:20:1: error: ‘tflite’ does not name a type
tflite::InterpreterBuilder(*model, resolver)(&interpreter);
^~~~~~
demo.cpp:23:1: error: ‘interpreter’ does not name a type
interpreter->AllocateTensors();
^~~~~~~~~~~
demo.cpp:25:16: error: ‘interpreter’ was not declared in this scope
float* input = interpreter->typed_input_tensor<float>(0);
^~~~~~~~~~~
demo.cpp:25:48: error: expected primary-expression before ‘float’
float* input = interpreter->typed_input_tensor<float>(0);
^~~~~
demo.cpp:28:1: error: ‘interpreter’ does not name a type
interpreter->Invoke();
^~~~~~~~~~~
demo.cpp:30:17: error: ‘interpreter’ was not declared in this scope
float* output = interpreter->typed_output_tensor<float>(0);
^~~~~~~~~~~
demo.cpp:30:50: error: expected primary-expression before ‘float’
float* output = interpreter->typed_output_tensor<float>(0);
我对 C++ 比较陌生,所以我可能在这里遗漏了一些明显的东西。然而,其他人似乎也遇到了 C++ API 的问题(查看this GitHub issue)。有没有人也偶然发现了这个并让它运行?
我要介绍的最重要的方面是:
1.) 我在哪里以及如何定义签名,以便模型知道将什么视为输入和输出?
2.) 我必须包含哪些标题?
谢谢!
编辑
感谢@Alex Cohn,链接器能够找到正确的标头。我也意识到我可能不需要重新定义 flatbuffers 类,所以我最终得到了这段代码(标记了微小的变化):
#include "tensorflow/lite/interpreter.h"
#include "tensorflow/lite/kernels/register.h"
#include "tensorflow/lite/model.h"
#include "tensorflow/lite/tools/gen_op_registration.h"
auto model = tflite::FlatBufferModel::BuildFromFile("linear.tflite"); //CHANGED
tflite::ops::builtin::BuiltinOpResolver resolver;
std::unique_ptr<tflite::Interpreter> interpreter;
tflite::InterpreterBuilder(*model, resolver)(&interpreter);
// Resize input tensors, if desired.
interpreter->AllocateTensors();
float* input = interpreter->typed_input_tensor<float>(0);
// Fill `input`.
interpreter->Invoke();
float* output = interpreter->typed_output_tensor<float>(0);
这大大减少了错误的数量,但我不确定如何解决其余的问题:
root@localhost:/inference# g++ demo.cpp -I/tensorflow
demo.cpp:10:34: error: expected ‘)’ before ‘,’ token
tflite::InterpreterBuilder(*model, resolver)(&interpreter);
^
demo.cpp:10:44: error: expected initializer before ‘)’ token
tflite::InterpreterBuilder(*model, resolver)(&interpreter);
^
demo.cpp:13:1: error: ‘interpreter’ does not name a type
interpreter->AllocateTensors();
^~~~~~~~~~~
demo.cpp:18:1: error: ‘interpreter’ does not name a type
interpreter->Invoke();
^~~~~~~~~~~
我必须如何解决这些问题?看来我必须定义自己的解析器,但我不知道该怎么做。
【问题讨论】:
可能你必须运行g++ -std=c++11
嗨!请告诉我在使用 tf line 和 c++ 时如何推断类的概率?
【参考方案1】:
我终于让它运行起来了。考虑到我的目录结构如下所示:
/(root)
/tensorflow
# whole tf repo
/demo
demo.cpp
linear.tflite
libtensorflow-lite.a
我把demo.cpp
改成了
#include <stdio.h>
#include "tensorflow/lite/interpreter.h"
#include "tensorflow/lite/kernels/register.h"
#include "tensorflow/lite/model.h"
#include "tensorflow/lite/tools/gen_op_registration.h"
int main()
std::unique_ptr<tflite::FlatBufferModel> model = tflite::FlatBufferModel::BuildFromFile("linear.tflite");
if(!model)
printf("Failed to mmap model\n");
exit(0);
tflite::ops::builtin::BuiltinOpResolver resolver;
std::unique_ptr<tflite::Interpreter> interpreter;
tflite::InterpreterBuilder(*model.get(), resolver)(&interpreter);
// Resize input tensors, if desired.
interpreter->AllocateTensors();
float* input = interpreter->typed_input_tensor<float>(0);
// Dummy input for testing
*input = 2.0;
interpreter->Invoke();
float* output = interpreter->typed_output_tensor<float>(0);
printf("Result is: %f\n", *output);
return 0;
另外,我必须调整我的编译命令(我必须手动安装 flatbuffers 才能使其工作)。对我有用的是:
g++ demo.cpp -I/tensorflow -L/demo -ltensorflow-lite -lrt -ldl -pthread -lflatbuffers -o demo
感谢 @AlexCohn 让我走上正轨!
【讨论】:
*model.get()
!不错
嗨。我刚刚复制了你的结果。但我收到tensorflow-lite
的链接错误。你遇到过这个问题吗?
@J-Win:确保您的编译器可以找到“libtensorflow-lite.a”。很可能您必须将其位置添加到路径中。
@DocDriven 如何释放资源tflite::InterpreterBuilder
和tensor
?
@MilindDeore 在此示例中,builder 是一个堆栈变量,因此当它超出范围时会自动销毁。但是,没有tensor
变量,所以我猜你指的是input
和/或output
。这些也是堆栈变量,所以这里同样适用。【参考方案2】:
这是包含的最小集合:
#include "tensorflow/lite/interpreter.h"
#include "tensorflow/lite/kernels/register.h"
#include "tensorflow/lite/model.h"
#include "tensorflow/lite/tools/gen_op_registration.h"
这些将包括其他标题,例如<memory>
定义了std::unique_ptr
。
【讨论】:
谢谢亚历克斯,这很有效。包含标题后,许多错误消失了,但仍有一些错误。你知道如何解决它们吗?请看看我编辑的问题。以上是关于Tensorflow C++ API实现MatMul矩阵相乘操作的主要内容,如果未能解决你的问题,请参考以下文章
如何构建和使用 Google TensorFlow C++ api
如何在 C++ 中使用 TensorFlow Estimator?
带有 TensorRT 的 C++ Tensorflow API