无法在 android studio 的 Interpreter 上运行 tflite 模型

Posted 2023-02-16

【中文标题】无法在 android studio 的 Interpreter 上运行 tflite 模型

【英文标题】：Can not run the the tflite model on Interpreter in android studio

【发布时间】：2021-12-16 04:20:35

【问题描述】：

我正在尝试在智能手机上的应用程序上运行 TensorFlow-lite 模型。首先，我使用 LSTM 使用数值数据训练模型，并使用 TensorFlow.Keras 构建模型层。我使用 TensorFlow V2.x 并将经过训练的模型保存在服务器上。之后，模型由 App 下载到智能手机的内存中，并使用“MappedByteBuffer”加载到解释器。直到这里一切正常。

问题在于解释器无法读取和运行模型。 我还在 build.gradle 上添加了所需的依赖项。

python中tflite模型的转换代码：

from tensorflow import keras
from keras.models import Sequential
from keras.layers import Dense, Dropout, LSTM
from tensorflow.keras import regularizers
#Create the network
model = Sequential()
model.add(LSTM(...... name = 'First_layer'))
model.add(Dropout(rate=Drop_out))
model.add(LSTM(...... name = 'Second_layer'))
model.add(Dropout(rate=Drop_out))

# compile model
model.compile(loss=keras.losses.mae, 
optimizer=keras.optimizers.Adam(learning_rate=learning_rate), metrics=["mae"])

# fit model
model.fit(.......)
#save the model
tf.saved_model.save(model,'saved_model')
print("Model  type", model1.dtype)# Model type is float32 and size around 2MB

#Convert saved model into TFlite
converter = tf.lite.TFLiteConverter.from_saved_model('saved_model')
tflite_model = converter.convert()

with open("Model.tflite, "wb") as f:
    f.write(tflite_model)
f.close()

我还尝试了使用 Keras 的其他转换方式

# converter = tf.lite.TFLiteConverter.from_keras_model(keras_model)
# tflite_model = converter.convert()

在这一步之后，“Model.tflite”被转换并下载到智能手机的内存中。

Android 工作室代码：

  try 
        private Interpreter tflite = new Interpreter(loadModelFile());
        Log.d("Load_model", "Created a Tensorflow Lite of AutoAuth.");

     catch (IOException e) 
        Log.e("Load_model", "IOException loading the tflite file");

    

private MappedByteBuffer loadModelFile() throws IOException 
    String model_path = model_directory + model_name + ".tflite";
    Log.d(TAG, model_path);
    File file = new File(model_path);
    if(file!=null)
    FileInputStream inputStream = new FileInputStream(file);
    FileChannel fileChannel = inputStream.getChannel();
    return fileChannel.map(FileChannel.MapMode.READ_ONLY, 0, file.length());
    else
        return null;
    

“loadModelFile()”函数工作正常，因为我使用 MNIST 数据集对另一个 tflite 模型进行了图像分类检查。问题只是解释器。

这也是build.gradle的内容：

android 
aaptOptions 
    noCompress "tflite"

 
  android 
     defaultConfig 
        ndk 
            abiFilters 'armeabi-v7a', 'arm64-v8a'
        
      
    

dependencies 
     implementation 'com.jakewharton:butterknife:8.8.1'
     implementation 'org.tensorflow:tensorflow-lite:0.1.2-nightly'
     annotationProcessor 'com.jakewharton:butterknife-compiler:8.8.1'
     implementation fileTree(dir: 'libs', include: ['*.jar'])
     //noinspection GradleCompatible
     implementation 'com.android.support:appcompat-v7:28.0.0'
    implementation 'com.android.support.constraint:constraint-layout:2.0.4'
    testImplementation 'junit:junit:4.12'
    androidTestImplementation 'com.android.support.test:runner:1.0.2'
    androidTestImplementation 'com.android.support.test.espresso:espresso-core:3.0.2'
    

每当我运行 Android Studio 时，都会遇到以下错误之一： 1-

或

2-

我浏览了许多资源和线程，并阅读了有关保存训练模型、TFlite 转换和解释器的信息。 我在 5 天前尝试解决这个问题，但没有希望。任何人都可以为此提供解决方案吗？

【问题讨论】：

你有没有用 netron.app 对 tflite 文件进行可视化，看看它是否有效？将其上传到某处并提供给我们一个链接以进行验证。

不，我没有想象出来。你能提供一个关于如何做到这一点的教程链接吗？

只需在浏览器中打开 netron.app 并将其拖放到里面。

我终于通过将以下内容添加到应用程序的依赖项来解决此问题： implementation 'org.tensorflow:tensorflow-lite:2.5.0' 和 implementation 'org.tensorflow:tensorflow-lite:0.1.2-每晚'。我练习这个有用的链接：developer.android.com/codelabs/digit-classifier-tflite#2 来解决我的问题。

我认为夜间版本已被 SNAPSHOT 取代。所以快照是最新的......使用它们。

【参考方案1】：

参考最新的 TfLite android 应用示例之一可能会有所帮助：Model Personalization App。此演示应用使用迁移学习模型而不是 LSTM，但整体工作流程应该类似。

正如 Farmaker 在评论中提到的，尝试在 gradle 依赖项中使用 SNAPSHOT：

implementation 'org.tensorflow:tensorflow-lite:0.0.0-nightly-SNAPSHOT'

要正确加载模型，可以试试吗：

protected MappedByteBuffer loadMappedFile(String filePath) throws IOException 
    AssetFileDescriptor fileDescriptor = assetManager.openFd(this.directoryName + "/" + filePath);

    FileInputStream inputStream = new FileInputStream(fileDescriptor.getFileDescriptor());
    FileChannel fileChannel = inputStream.getChannel();
    long startOffset = fileDescriptor.getStartOffset();
    long declaredLength = fileDescriptor.getDeclaredLength();
    return fileChannel.map(MapMode.READ_ONLY, startOffset, declaredLength);
  

这个 sn-p 也可以在我上面发布的 GitHub 示例链接中找到。