安卓和Unity线程共享context

Posted 2020-12-06 zhxmdefj

Unity项目作为library集成到安卓内请看安卓集成Unity开发示例

本项目的目的是实现以下的流程

android和ios原生代码里面操作摄像头->获取视频流数据->人脸检测或美颜->传输给Unity

一开始我尝试了最直接的方法，通过

@Override public void onPreviewFrame(byte[] data, Camera camera){
    // function trans data[] to Unity
}

但是涉及到格式转换问题此流程非常低效，而且onPreviewFrame()方法的回传也涉及到从GPU拷贝到CPU的操作，性能依然不高。

既然我们的最终目的都是传到GPU上让Unity渲染线程渲染，那能不能直接在GPU层传递纹理数据到Unity呢？

完全没有问题，只要我们在Unity线程中拿到EGLContext和EGLConfig，将其作为参数传递给Java线程的eglCreateContext()创建Java线程的EGLContext，两个线程就可以共享EGLContext了

先在安卓端写好获取eglcontext的方法，供Unity调用

	// 创建单线程池，用于处理OpenGL纹理
    private final ExecutorService mRenderThread = Executors.newSingleThreadExecutor();

    public int getStreamTextureWidth() {return mTextureWidth;}
    public int getStreamTextureHeight() {return mTextureHeight;}
    public int getStreamTextureID() {return mTextureID;}

    private void glLogE(String msg) {
        Log.e(TAG, msg + ", err=" + GLES20.glGetError());
    }

	// 被unity调用获取EGLContext
    public void setupOpenGL() {
        Log.d(TAG, "setupOpenGL called by Unity ");

        // 获取Unity线程的EGLContext,EGLDisplay
        mSharedEglContext = EGL14.eglGetCurrentContext();
        if (mSharedEglContext == EGL14.EGL_NO_CONTEXT) {
            glLogE("eglGetCurrentContext failed");
            return;
        }glLogE("eglGetCurrentContext success");
        EGLDisplay sharedEglDisplay = EGL14.eglGetCurrentDisplay();
        if (sharedEglDisplay == EGL14.EGL_NO_DISPLAY) {
            glLogE("sharedEglDisplay failed");
            return;
        }glLogE("sharedEglDisplay success");

        // 获取Unity绘制线程的EGLConfig
        int[] numEglConfigs = new int[1];
        EGLConfig[] eglConfigs = new EGLConfig[1];
        if (!EGL14.eglGetConfigs(sharedEglDisplay, eglConfigs, 0, eglConfigs.length,
                numEglConfigs, 0)) {
            glLogE("eglGetConfigs failed");
            return;
        }glLogE("eglGetConfigs success");
        
        mSharedEglConfig = eglConfigs[0];
        mRenderThread.execute(new Runnable() {
            @Override
            public void run() {
                // Java线程初始化OpenGL环境
                initOpenGL();
                // 生成OpenGL纹理ID
                int textures[] = new int[1];
                GLES20.glGenTextures(1, textures, 0);
                if (textures[0] == 0) { 
                    glLogE("glGenTextures failed");
                    return; 
                }glLogE("glGenTextures success");
                mTextureID = textures[0];
                mTextureWidth = 670;
                mTextureHeight = 670;
            }
        });
    }

Java线程在此之后初始化OpenGL环境

	private void initOpenGL() {
        mEGLDisplay = EGL14.eglGetDisplay(EGL14.EGL_DEFAULT_DISPLAY);
        if (mEGLDisplay == EGL14.EGL_NO_DISPLAY) {
            glLogE("eglGetDisplay failed");
            return;
        }glLogE("eglGetDisplay success");

        int[] version = new int[2];
        if (!EGL14.eglInitialize(mEGLDisplay, version, 0, version, 1)) {
            mEGLDisplay = null;
            glLogE("eglInitialize failed");
            return;
        }glLogE("eglInitialize success");

        int[] eglContextAttribList = new int[]{
                EGL14.EGL_CONTEXT_CLIENT_VERSION, 3, // 版本需要与Unity使用的一致
                EGL14.EGL_NONE
        };
        
        // 将Unity线程的EGLContext和EGLConfig作为参数,传递给eglCreateContext,
        // 创建Java线程的EGLContext,从而实现两个线程共享EGLContext
        mEglContext = EGL14.eglCreateContext(
            mEGLDisplay, mSharedEglConfig, mSharedEglContext,
                eglContextAttribList, 0);
        if (mEglContext == EGL14.EGL_NO_CONTEXT) {
            glLogE("eglCreateContext failed");
            return;
        }glLogE("eglCreateContext success");

        int[] surfaceAttribList = {
                EGL14.EGL_WIDTH, 64,
                EGL14.EGL_HEIGHT, 64,
                EGL14.EGL_NONE
        };
        
        // Java线程不进行实际绘制，因此创建PbufferSurface而非WindowSurface
        // 将Unity线程的EGLConfig作为参数传递给eglCreatePbufferSurface
        // 创建Java线程的EGLSurface
        mEglSurface = EGL14.eglCreatePbufferSurface(mEGLDisplay, mSharedEglConfig, surfaceAttribList, 0);
        if (mEglSurface == EGL14.EGL_NO_SURFACE) {
            glLogE("eglCreatePbufferSurface failed");
            return;
        }glLogE("eglCreatePbufferSurface success");

        if (!EGL14.eglMakeCurrent(mEGLDisplay, mEglSurface, mEglSurface, mEglContext)) {
            glLogE("eglMakeCurrent failed");
            return;
        }glLogE("eglMakeCurrent success");

        GLES20.glFlush();
    }

共享context后，两个线程就可以共享纹理了。将Java线程生成的纹理id返回给Unity线程即可，C#代码如下：

using System;
using System.Collections;
using System.Collections.Generic;
using UnityEditor;
using UnityEngine;

public class GLTexture : MonoBehaviour
{
    private AndroidJavaObject mGLTexCtrl;
    private int mTextureId;
    private int mWidth;
    private int mHeight;

    private void Awake(){
        // 实例化com.xxx.nativeandroidapp.GLTexture类的对象
        mGLTexCtrl = new AndroidJavaObject("com.xxx.nativeandroidapp.GLTexture");
        // 初始化OpenGL
        mGLTexCtrl.Call("setupOpenGL");
    }

    void Start(){
        BindTexture();
    }
    
    void BindTexture(){
        // 获取JavaPlugin生成的纹理ID
        mTextureId = mGLTexCtrl.Call<int>("getStreamTextureID");
        if (mTextureId == 0){
            Debug.LogError("getStreamTextureID failed");
            return;
        } Debug.Log("getStreamTextureID success");
        mWidth = mGLTexCtrl.Call<int>("getStreamTextureWidth");
        mHeight = mGLTexCtrl.Call<int>("getStreamTextureHeight");
        // 将纹理ID与当前GameObject绑定
        material.mainTexture = Texture2D.CreateExternalTexture(mWidth, mHeight, TextureFormat.ARGB32, false, false, (IntPtr)mTextureId);
        // 更新纹理数据
        mGLTexCtrl.Call("updateTexture");
    }
}

unity需要调用updateTexture方法更新纹理

	public void updateTexture() {
        //Log.d(TAG,"updateTexture called by unity");
        mRenderThread.execute(new Runnable() {
            @Override
            public void run() {
    			String imageFilePath = "your own picture path";//图片路径
                final Bitmap bitmap = BitmapFactory.decodeFile(imageFilePath);
                GLES20.glBindTexture(GLES20.GL_TEXTURE_2D, mTextureID);
                GLES20.glTexParameteri(GLES11Ext.GL_TEXTURE_EXTERNAL_OES, GLES20.GL_TEXTURE_MIN_FILTER, GLES20.GL_NEAREST);
                GLES20.glTexParameteri(GLES11Ext.GL_TEXTURE_EXTERNAL_OES, GLES20.GL_TEXTURE_MAG_FILTER, GLES20.GL_NEAREST);
                GLES20.glTexParameteri(GLES20.GL_TEXTURE_2D, GLES20.GL_TEXTURE_WRAP_S, GLES20.GL_CLAMP_TO_EDGE);
                GLES20.glTexParameteri(GLES20.GL_TEXTURE_2D, GLES20.GL_TEXTURE_WRAP_T, GLES20.GL_CLAMP_TO_EDGE);
                GLES20.glTexParameteri(GLES20.GL_TEXTURE_2D, GLES20.GL_TEXTURE_MAG_FILTER, GLES20.GL_LINEAR);
                GLES20.glTexParameteri(GLES20.GL_TEXTURE_2D, GLES20.GL_TEXTURE_MIN_FILTER, GLES20.GL_LINEAR);
                GLUtils.texImage2D(GLES20.GL_TEXTURE_2D, 0, bitmap, 0);
                GLES20.glBindTexture(GLES20.GL_TEXTURE_2D, 0);
                bitmap.recycle();//回收内存
            }
        });
    }

同时注意必须关闭unity的多线程渲染，否则无法获得Unity渲染线程的EGLContext：

然后就可以将Unity工程打包到安卓项目，如果没意外是可以显示纹理到cube等3Dobject上的

上述的方案假定Java层更新纹理时使用的是RGB或RBGA格式的数据，但是播放视频或者camera预览这种应用场景下，解码器解码出来的数据如果是YUV格式，渲染起来就稍微麻烦点，考虑到性能需要使用GPU进行转换，可以编写Shader来实现。

如前文所述，Unity只需要Java层的纹理ID，当使用Shader进行YUV转RGB时，怎么实现更新该纹理的数据呢？答案是Render to Texture。具体做法是，创建一个FrameBuffer，调用glFramebufferTexture2D将纹理与FrameBuffer关联起来，这样在FrameBuffer上进行的绘制，就会被写入到该纹理中。

我们先新建TextureSurface用于接收摄像头的数据

mCameraInputSurface = new SurfaceTexture(0);
mCameraInputSurface.setOnFrameAvailableListener(this);
mCameraInputSurface.setDefaultBufferSize(mFrameWidth, mFrameHeight);
mOutputSurfaceTexture.setOnFrameAvailableListener(this);

设置摄像机的预览到这个Surface,并开始预览

mCamera.setPreviewTexture(mCameraInputSurface);
mCamera.startPreview();

然后这个SurfaceTexture就可以跨线程共享硬件纹理数据了。

和之前一样，在u3d的主线程中获取OpenGL的共享Context，用这个context创建共享线程，然后这个线程对mOutputTex进行绘制。先用这个mOutputTex绑定好FBO，然后把上面mCameraInputSurface的图像渲染到FBO中，最后通知u3d的主线程，可以使用这张纹理进行渲染了。这里的坑之后再填。