无法在 UINT8 类型的 TensorFlowLite 张量和 Java 对象之间转换

Posted 2023-02-16

【中文标题】无法在 UINT8 类型的 TensorFlowLite 张量和 Java 对象之间转换

【英文标题】：Cannot convert between a TensorFlowLite tensor with type UINT8 and a Java object

【发布时间】：2020-02-17 15:04:42

【问题描述】：

我正在使用 MLKiT 加载自定义 tensoflow 模型 读取模型时出现以下错误

java.lang.IllegalArgumentException：无法在类型为 UINT8 的 TensorFlowLite 张量和类型为 [[[[F（与 TensorFlowLite 类型 FLOAT32 兼容）的 Java 对象之间进行转换。

我正在使用以下代码使用 tlflite 文件进行对象检测

    private fun bitmapToInputArray(bitmap: Bitmap): Array<Array<Array<FloatArray>>> 
            var bitmap = bitmap
            bitmap = Bitmap.createScaledBitmap(bitmap, 224, 224, true)

            val batchNum = 0
            val input = Array(1)  Array(224)  Array(224)  FloatArray(3)   
            for (x in 0..223) 
                for (y in 0..223) 
                    val pixel = bitmap.getPixel(x, y)
                    // Normalize channel values to [-1.0, 1.0]. This requirement varies by
                    // model. For example, some models might require values to be normalized
                    // to the range [0.0, 1.0] instead.
                    input[batchNum][x][y][0] = (Color.red(pixel) - 127) / 128.0f
                    input[batchNum][x][y][1] = (Color.green(pixel) - 127) / 128.0f
                    input[batchNum][x][y][2] = (Color.blue(pixel) - 127) / 128.0f
                
            
            return input
        

private fun setImageData(input: Array<Array<Array<FloatArray>>>) 
        var inputs: FirebaseModelInputs? = null
        try 
            inputs = FirebaseModelInputs.Builder()
                .add(input)  // add() as many input arrays as your model requires
                .build()
         catch (e: FirebaseMLException) 
            e.printStackTrace()
        

        firebaseInterpreter!!.run(inputs!!, inputOutputOptions!!)
            .addOnSuccessListener(
                OnSuccessListener<FirebaseModelOutputs> 
                    // ...
                    Log.d("Final",it.toString());
                )
            .addOnFailureListener(
                object : OnFailureListener 
                    override fun onFailure(p0: Exception) 
                        // Task failed with an exception
                        // ..

                    
                )
    

【参考方案1】：

您的模型需要一个量化的图像。你可以这样准备：

val input = Array(1)  Array(224)  Array(224)  ByteArray(3)   
        for (x in 0..223) 
            for (y in 0..223) 
                val pixel = bitmap.getPixel(x, y)
                input[batchNum][x][y][0] = Color.red(pixel)
                input[batchNum][x][y][1] = Color.green(pixel)
                input[batchNum][x][y][2] = Color.blue(pixel)
            
        

请注意，将 ByteBuffer 传递给 tflite 通常比多维数组更容易。