如何在基于 tensorflow lite 对象检测 android 的应用程序中添加文本转语音?

Posted

技术标签:

【中文标题】如何在基于 tensorflow lite 对象检测 android 的应用程序中添加文本转语音?【英文标题】:How can I add text-to-speech in tensorflow lite object detection android based application? 【发布时间】:2020-10-18 18:08:18 【问题描述】:

我正在尝试构建一个应用程序,以帮助视障人士检测路上的物体​​/障碍。因此,一旦检测到对象,应用程序就会使用 TensorFlow 库和 android text-to-speech 让用户知道对象是什么。我目前正在尝试构建 TensorFlow 提供的 Android 对象检测示例,但是我正在努力寻找边界框标签字符串的存储位置,以便在运行文本到语音时可以调用它

【问题讨论】:

【参考方案1】:

我看到了物体检测的项目。您可以在项目内的 2 个地方找到推理的结果:

首先你可以在里面找到它们

TFLiteObjectDetectionAPIModel.java 

您可以在227 行添加一条日志语句

识别对象

例如

Log.i("Recognitions", String.valueOf(recognitions.get(0).getTitle()));

第二内

DetectorActivity.java

你可以登录

结果对象

181 行。

那你可以关注this example来整合TtS。我对结果有点悲观,因为 MultiboxTracker 每秒钟都会给出很多结果....而且如果检测到很多对象我不知道性能!!

你必须过滤一些结果。

我对结果很感兴趣!!

如果您需要更多帮助,请标记我

编码愉快!

【讨论】:

太棒了,非常感谢您的帮助。我刚刚尝试了记录的那一部分,你对每秒结果的数量是正确的,所以我试图找到一种方法来延迟每次检测之间的时间 那么点赞怎么样? :) :) 我做到了,但不幸的是,由于我的声望不到 15,所以遗憾的是它不会公开改变分数。 没问题..祝您编码愉快..如果您有问题,请再次标记我 嘿,问个简单的问题,我在考试的时候回到这个问题,所以我先添加了延迟因素,但后来我想出实现 Tts 的最佳方法是使用按钮,所以我制作了一个全屏按钮并使其透明,以便用户在想要接收口头反馈时可以单击屏幕上的任何位置。我现在遇到的问题是导入我们在检测器活动中登录的字符串,告诉我们一旦单击按钮将执行 Tts 的活动的对象,知道如何解决这个问题吗?不确定如何从该对象中提取字符串?

以上是关于如何在基于 tensorflow lite 对象检测 android 的应用程序中添加文本转语音?的主要内容,如果未能解决你的问题,请参考以下文章

专访 | 基于LSTM与TensorFlow Lite,kika输入法是如何造就的

将 Keras 模型转换为 TensorFlow lite - 如何避免不支持的操作?

水果图像识别:基于 Arduino 和 TensorFlow Lite Micro

如何将 Cloud TPU 与 Tensorflow Lite Model Maker 结合使用?

如何在 Tensorflow Lite 上为 CoreML 委托设置填充类型以修复未设置“PoolingLayerBuilder (MEAN)_1”。

小白学习tensorflow教程四使用 tfhub中的模型EfficientDet-Lite2 进行对象检测