在 ARCore 中访问图像数据字节

Posted 2023-02-18

【中文标题】在 ARCore 中访问图像数据字节

【英文标题】：Accessing Image Data Bytes in ARCore

【发布时间】：2018-02-07 12:57:10

【问题描述】：

我创建了一个 ARCore Session 并通过 Session#setCameraTextureName 方法附加了一个 OpenGL 纹理 ID 以显示我的相机数据。我想访问纹理上显示的相机图像数据字节。

ARKit 和 Tango 提供对每一帧图像字节的访问，但似乎没有任何东西可以在 ARCore API 中轻松提供。

在使用 ARCore 时，我还有其他方法可以访问图像字节吗？

【参考方案1】：

也许这可以帮助你我想以位图形式获取相机视图。我在三星s8上测试过。

    int w=1080;
    int h = 2220;
    int b[]=new int[w*(0+h)];
    int bt[]=new int[w*h];
    IntBuffer ib = IntBuffer.wrap(b);
    ib.position(0);
    GLES20.glReadPixels(0, 0, w, h, GLES20.GL_RGBA, GLES20.GL_UNSIGNED_BYTE, ib);

    for(int i=0, k=0; i<h; i++, k++)
    //remember, that OpenGL bitmap is incompatible with android bitmap
        //and so, some correction need.
        for(int j=0; j<w; j++)
        
            int pix=b[i*w+j];
            int pb=(pix>>16)&0xff;
            int pr=(pix<<16)&0x00ff0000;
            int pix1=(pix&0xff00ff00) | pr | pb;
            bt[(h-k-1)*w+j]=pix1;
        
    

    sb=Bitmap.createBitmap(bt, w, h, Bitmap.Config.ARGB_8888);

【参考方案2】：

目前，访问图像数据的最佳选择可能是将纹理绘制到渲染缓冲区并使用 glReadPixels 到持久映射的像素解包缓冲区中。使用栅栏同步来检测 glReadPixels 何时完成。

另一种选择是使用计算着色器并直接写入 persistent-mapped SSBO。 （忽略持久映射的建议。我认为EXT_buffer_storage 有更广泛的支持）

后者可能是更少的副本（即使您在 glReadPixels 之后使渲染缓冲区像素无效，渲染缓冲区像素仍可能会命中 DRAM），但它也是一个不太常见的代码路径并导致渲染/计算转换，所以我没有直觉哪种方法更有效。

【讨论】：

这会让我们从相机缓冲区获取 YUV 数据吗？

没有。目前无法访问原始 YUV 数据。 OpenGL 采样器将为您转换为 RGB。

@IanM 感谢您的回答。您认为将来会有官方（并且性能更高）的方式吗？毕竟，计算机视觉对于 AR 很重要 :-)

我无法谈论未来的计划，但我同意这是一种理想的能力。不幸的是，我的理解是当前的 Android 平台限制阻止提供可用作 GPU 纹理和 CPU 可访问图像的单个缓冲区，因此在提供该功能时必须小心。

@MrAlbean 对于开发者预览，相机图像将始终为 1920x1080。您也可以使用glGetTexLevelParameteriv 查询它。我已经测试了计算着色器方法，它的性能似乎足以至少用于概念验证类型的工作。

【参考方案3】：

从 ARCore v1.1.0 开始，有一个 API 可以访问当前帧的图像字节：

https://developers.google.com/ar/reference/java/com/google/ar/core/Frame.html#acquireCameraImage()

【讨论】：

只是我，还是返回的图像看起来比应有的小？我想我得到 640x480，但它（定性地）似乎屏幕上显示的预览分辨率比这更高。

没错。提供对图像字节的 CPU 访问的 API 返回 640x480 图像，即使预览显示为 1920x1080。 GitHub 上有几个关于图像分辨率的问题，因此可能正在改进：github.com/google-ar/arcore-android-sdk/issues/92github.com/google-ar/arcore-android-sdk/issues/153

自 v1.28.0 起，此 API 已停用。 github.com/google-ar/arcore-android-sdk/releases