中文教学视频 | 在 Android 中使用 TensorFlow Lite

Posted 2021-04-27 TensorFlow

中，我们分享了 TensorFlow Lite 的一些基本知识，还有它的模型结构及使用方法。今天我们会与大家分享 android 平台上的一些 TensorFlow Lite 应用，先来一起看看视频吧：

TF Lite for Android 展示

我们在视频里用一款 App 展示了它如何分类视野中的物品。打开 App，并将摄像头对准物品，尝试左右上下移动手机，你会发现屏幕的下方给出了一些关于 App 所看到的物品的判断。比如当物品是一个鼠标，在 A 角度看到的画面中，App 认为有较大可能性是鼠标，一定可能性是拳击沙袋；而在 B 角度则有一定可能性是游戏机的摇杆。后面的杯子也是一样，这款 App 会有一定几率将其判断为花洒，听起来确实有些不可思议，但是它确实是这么判断的。

在 App 背后是一个叫 MobileNet 的模型。这个模型的特点就体积小、速度快（延迟低）、能耗低。并且它专门为了一些移动设备常见应用场景而特殊设计：

• 目标识别（地图 App 和 Google Lens 可能会用到）

• 脸部追踪（相机和美颜应用）

• 精细分类

• 路标识别

下面这个链接是在视频中提到的可以在 TensorFlow Lite 使用的模型：
http://t.cn/REv1iBo

在上述链接下载一个 MobileNet 0.75 128 Float 的模型包，里面包括了：

• labels.txt 标识文件（模型训练的标识）

• mobilenet_v1_0.75_224.tflite 文件（直接在 TF Lite 运行即可）

开发

声明依赖

要使用 TF Lite，第一步就是在项目的 Gradle 文件中加入 org.tensorflow:tensorflow-lite:+ 这样一个依赖。

引入解释器

然后，在你的代码中需要引入解释器：

import org.tensorflow.lite.Interpreter;

解释器可以装载和运行模型，你可以定义输入，运行 TensorFlow Lite，然后得到输出结果。

使用 App Assets 来加载模型

App assets 是存储模型的好地方，你的程序代码会从这里载入模型。虽然你可以从任何地方来完成，但是我们更推荐你用这种方式。

App 运行效果

我们看一下 App 的运行效果，它会从照相机读取每一帧, 并且把他们变成图片，然后用这些图片作为这个模型的输入。输出是一个指引，这个指引指向一个标识和对应到标识的可能性。我们选了前两个，把他们显示在屏幕上。

为了能够更直观了解到整个过程，我们建议你在代码中加入适当的断点。当  App 尝试使用模型来分析时，会在你的断点处中断。合适的断点能帮助你看到此时模型对当前输入的图像的判断。

赶紧去试一试吧，把你的 App 分享出来，把你的经验也分享出来吧！

下期预告

下一期，我们要一起看看在 ios 设备上如何使用 TensorFlow Lite，敬请期待！

视频播单

我们在优酷、Bilibili 和 YouTube 上都上传了这个系列的视频，欢迎观看！

YouTube:

https://www.youtube.com/playlist?list=PLwv-rHS37fS9bHahBZazFW5fNFrYceXcH

Youku: 

https://list.youku.com/albumlist/show/id_51775215.html

Bilibili: 

https://www.bilibili.com/video/av24800656/