使用OpenGL的Android相机帧处理

Posted 2023-04-17

【中文标题】使用OpenGL的Android相机帧处理

【英文标题】：Android camera frame processing using OpenGL

【发布时间】：2016-01-18 20:44:42

【问题描述】：

我正在尝试在相机预览帧上应用人脸检测。我正在使用 OpenGL 和 OpenCV 在运行时处理这些相机帧。

@Override
    public void onDrawFrame(GL10 unused) 
        if (VERBOSE) 
            Log.d(TAG, "onDrawFrame tex=" + mTextureId);
        

        mSurfaceTexture.updateTexImage();
        mSurfaceTexture.getTransformMatrix(mSTMatrix);

        // TODO: need to implement
        //JniCppManager.processFrame();

        drawFrame(mTextureId, mSTMatrix);

我正在尝试实现 processFrame() 的 c++ 实现。如何从转换矩阵中获取 C++ 中的 Mat 对象？谁能给我一些解决方案的指针。

【问题讨论】：

getTransformMatrix() 中的值是一个 4x4 矩阵，以列优先顺序表示为 16 元素线性数组。 OpenCV Mat 类当然可以代表这一点，但不清楚您是在尝试获取（通常是微不足道的）转换矩阵还是像素数据本身。

感谢 Fadden 的回复。我的最终目标是根据图像识别覆盖静态图像。例如在特定地标上覆盖小胡子。我认为为此我需要像素数据。

【参考方案1】：

您的管道目前是：

相机（产生框架） SurfaceTexture（接收帧，转换为 GLES“外部”纹理） [缺少的东西] 传递给 C++ 的 RGB 字节数组

您需要为 [缺少的东西] 做的是将像素渲染到屏幕外 pbuffer 并使用glReadPixels() 将它们读回。您可以从用 Java 或本机编写的代码执行此操作；对于前者，您希望将它们读入“直接”字节缓冲区，以便您可以轻松地从本机代码访问像素。 GLES 使用的 EGL 上下文保存在线程本地存储中，因此在 GLSurfaceView 渲染线程上运行的本机代码将能够访问它。

这方面的一个例子可以在 bigflake ExtractMpegFramesTest 中找到，主要区别在于它从视频而不是相机中抓取帧。

对于 API 19+，如果您可以处理 YV12 或 NV21 而不是 RGB 的帧，您可以将相机输入到 ImageReader 并访问数据而无需复制/转换它。

【讨论】：

感谢 Fadden，您的回答非常有帮助！