自定义 byteArray 数据到 WebRTC videoTrack

Posted 2023-04-17

【中文标题】自定义 byteArray 数据到 WebRTC videoTrack

【英文标题】：Custom byteArray data to WebRTC videoTrack

【发布时间】：2017-12-22 15:20:15

【问题描述】：

我需要使用WebRTC for android 将特定的裁剪（面部）视频发送到 videoChannel。我能够操纵Camera1Session WebRTC 类来裁剪脸部。现在我将它设置为 ImageView。 listenForBytebufferFrames() 的Camera1Session.java

private void listenForBytebufferFrames() 
    this.camera.setPreviewCallbackWithBuffer(new PreviewCallback() 
        public void onPreviewFrame(byte[] data, Camera callbackCamera) 
            Camera1Session.this.checkIsOnCameraThread();
            if(callbackCamera != Camera1Session.this.camera) 
                Logging.e("Camera1Session", "Callback from a different camera. This should never happen.");
             else if(Camera1Session.this.state != Camera1Session.SessionState.RUNNING) 
                Logging.d("Camera1Session", "Bytebuffer frame captured but camera is no longer running.");
             else 
                mFrameProcessor.setNextFrame(data, callbackCamera);
                long captureTimeNs = TimeUnit.MILLISECONDS.toNanos(SystemClock.elapsedRealtime());
                if(!Camera1Session.this.firstFrameReported) 
                    int startTimeMs = (int)TimeUnit.NANOSECONDS.toMillis(System.nanoTime() - Camera1Session.this.constructionTimeNs);
                    Camera1Session.camera1StartTimeMsHistogram.addSample(startTimeMs);
                    Camera1Session.this.firstFrameReported = true;
                

                ByteBuffer byteBuffer1 = ByteBuffer.wrap(data);
                Frame outputFrame = new Frame.Builder()
                        .setImageData(byteBuffer1,
                                Camera1Session.this.captureFormat.width,
                                Camera1Session.this.captureFormat.height,
                                ImageFormat.NV21)
                        .setTimestampMillis(mFrameProcessor.mPendingTimeMillis)
                        .setId(mFrameProcessor.mPendingFrameId)
                        .setRotation(3)
                        .build();
                int w = outputFrame.getMetadata().getWidth();
                int h = outputFrame.getMetadata().getHeight();
                SparseArray<Face> detectedFaces = mDetector.detect(outputFrame);
                if (detectedFaces.size() > 0) 

                    Face face = detectedFaces.valueAt(0);
                    ByteBuffer byteBufferRaw = outputFrame.getGrayscaleImageData();
                    byte[] byteBuffer = byteBufferRaw.array();
                    YuvImage yuvimage  = new YuvImage(byteBuffer, ImageFormat.NV21, w, h, null);
                    ByteArrayOutputStream baos = new ByteArrayOutputStream();

                    //My crop logic to get face co-ordinates

                    yuvimage.compressToJpeg(new Rect(left, top, right, bottom), 80, baos);
                    final byte[] jpegArray = baos.toByteArray();
                    Bitmap bitmap = BitmapFactory.decodeByteArray(jpegArray, 0, jpegArray.length);

                    Activity currentActivity = getActivity();
                    if (currentActivity instanceof CallActivity) 
                        ((CallActivity) currentActivity).setBitmapToImageView(bitmap); //face on ImageView is set just fine
                    
                    Camera1Session.this.events.onByteBufferFrameCaptured(Camera1Session.this, data, Camera1Session.this.captureFormat.width, Camera1Session.this.captureFormat.height, Camera1Session.this.getFrameOrientation(), captureTimeNs);
                    Camera1Session.this.camera.addCallbackBuffer(data);
                 else 
                    Camera1Session.this.events.onByteBufferFrameCaptured(Camera1Session.this, data, Camera1Session.this.captureFormat.width, Camera1Session.this.captureFormat.height, Camera1Session.this.getFrameOrientation(), captureTimeNs);
                    Camera1Session.this.camera.addCallbackBuffer(data);
                

            
        
    );

jpegArray 是我需要通过WebRTC 流式传输的最后一个字节数组，我尝试过这样的事情：

Camera1Session.this.events.onByteBufferFrameCaptured(Camera1Session.this, jpegArray, (int) face.getWidth(), (int) face.getHeight(), Camera1Session.this.getFrameOrientation(), captureTimeNs);
Camera1Session.this.camera.addCallbackBuffer(jpegArray);

像这样设置它们会给我以下错误：

../../webrtc/sdk/android/src/jni/androidvideotracksource.cc line 82
Check failed: length >= width * height + 2 * uv_width * ((height + 1) / 2) (2630 vs. 460800)

我认为这是因为 androidvideotracksource 没有得到与预期相同的 byteArray 长度，因为现在已经裁剪了帧。 有人可以指出如何实现它的方向吗？这是操作数据并输入videoTrack 的正确方法/位置吗？

编辑：bitmap of byteArray data 不会在 ImageView 上给我一个相机预览，这与 byteArray jpegArray 不同。也许是因为它们的包装不同？

【问题讨论】：

回复：byteArray 数据位图无法在 ImageView 上提供相机预览 - 如何从 NV21 数据创建位图？

yuvimage.compressToJpeg(new Rect(left, top, right, bottom), 80, baos); 对 byteArray 执行此操作。我从decodeByteArray得到一张位图

那么，((CallActivity) currentActivity).setBitmapToImageView(bitmap) 没有按预期工作，但 ((CallActivity) currentActivity).setBitmapToImageView(jpegArray) 工作？

从 byte[] data 创建位图并将其设置为 imageView 不起作用，但从 byte[] jpegArray 创建位图确实有效。无论如何，我已经发布了我的修复答案。此外，正如您所指出的，我还缩放到了预期的尺寸。但是我无法让I420Frame 工作。

刚刚检查过这个。浏览 jpeg 需要 5-10 毫秒，scale() + getNV21() 需要 50-70 毫秒。这些都不会发生在 UI 线程上。我只在 setBitmapToImageView(bitmap);

内返回 UI 线程

【参考方案1】：

我们可以使用 WebRTC 的数据通道来交换自定义数据，即在您的情况下裁剪的面部“图像”，并使用任何第三方库（即 OpenGL 等）在接收端进行相应的计算吗？我建议的原因是从频道接收的 WebRTC 视频提要是实时流，而不是 bytearray 。另一方面，WebRTC Video 的固有架构并不意味着裁剪视频。如果我们想要裁剪或增强视频，我们必须使用任何 ar 库来完成这项工作。

我们始终可以利用 WebRTC 的数据通道来交换自定义数据。不建议使用相同的视频通道，因为它是实时流而不是字节数组。如有任何疑问，请恢复。

【讨论】：

DataChannel 是否足以支持大byteArray 的连续流？

否。在覆盖或任何类型的增强对象识别中是必须的。为此，一方可以使用 webrtc 数据通道与另一方交换图像以及不同的其他相关坐标，即 w.r.t 的裁剪细节。图片。在接收方可以进行上下文计算以显示裁剪面部的叠加，可以使用 openGL 显示实时提要。

【参考方案2】：

WebRTC 尤其是视频流，通常假定视频具有固定尺寸。如果您想裁剪检测到的面部，您可以选择使用例如填充裁剪的图像。黑色像素（WebRTC 不使用透明度），并在接收器端裁剪视频，或者，如果您无法控制接收器，resize 裁剪区域以填充预期的width * height 帧（您还应该保持预期的纵横比）。

请注意，用于裁剪原件的 JPEG 压缩/解压缩效率很低。其他一些选项可以在 Image crop and resize in Android 中找到。

【讨论】：

在缩放或填充数据的情况下的带宽消耗将与视频通话相同，不是吗？此外，如果填充了低光视频，接收时的面部裁剪将非常乏味（在我的情况下，它也会使计算加倍）。缩放会破坏面部本身的纵横比。无论如何，我可以在I420Frame 中附加面部纵横比？

由于视频压缩，恒定填充（不需要黑色）的带宽开销最小。出于同样的原因，位图的缩放（放大）不会增加太多带宽。我不明白你所说的“破坏纵横比”是什么意思。是的，您可以在 I420Frame 内工作。

【参考方案3】：

好的，这绝对是原始byte[] data如何打包和byte[] jpegArray打包方式的问题。按照 AlexCohn 的建议，改变打包和缩放的方式对我有用。我在打包过程中从 *** 上的 other post 找到了帮助。这是它的代码：

private byte[] getNV21(int left, int top, int inputWidth, int inputHeight, Bitmap scaled) 
int [] argb = new int[inputWidth * inputHeight];
    scaled.getPixels(argb, 0, inputWidth, left, top, inputWidth, inputHeight);
    byte [] yuv = new byte[inputWidth*inputHeight*3/2];
    encodeYUV420SP(yuv, argb, inputWidth, inputHeight);
    scaled.recycle();
    return yuv;


private void encodeYUV420SP(byte[] yuv420sp, int[] argb, int width, int height) 
    final int frameSize = width * height;

    int yIndex = 0;
    int uvIndex = frameSize;

    int a, R, G, B, Y, U, V;
    int index = 0;
    for (int j = 0; j < height; j++) 
        for (int i = 0; i < width; i++) 

            a = (argb[index] & 0xff000000) >> 24; // a is not used obviously
            R = (argb[index] & 0xff0000) >> 16;
            G = (argb[index] & 0xff00) >> 8;
            B = (argb[index] & 0xff) >> 0;

            // well known RGB to YUV algorithm
            Y = ( (  66 * R + 129 * G +  25 * B + 128) >> 8) +  16;
            U = ( ( -38 * R -  74 * G + 112 * B + 128) >> 8) + 128;
            V = ( ( 112 * R -  94 * G -  18 * B + 128) >> 8) + 128;

            // NV21 has a plane of Y and interleaved planes of VU each sampled by a factor of 2
            //    meaning for every 4 Y pixels there are 1 V and 1 U.  Note the sampling is every other
            //    pixel AND every other scanline.
            yuv420sp[yIndex++] = (byte) ((Y < 0) ? 0 : ((Y > 255) ? 255 : Y));
            if (j % 2 == 0 && index % 2 == 0) 
                yuv420sp[uvIndex++] = (byte)((V<0) ? 0 : ((V > 255) ? 255 : V));
                yuv420sp[uvIndex++] = (byte)((U<0) ? 0 : ((U > 255) ? 255 : U));
            

            index ++;
        
    
`

我将这个byte[] data 传递给onByteBufferFrameCaptured 和callback：

Camera1Session.this.events.onByteBufferFrameCaptured(
                            Camera1Session.this,
                            data,
                            w,
                            h,
                            Camera1Session.this.getFrameOrientation(),
                            captureTimeNs);
Camera1Session.this.camera.addCallbackBuffer(data);

在此之前，我必须缩放位图，这非常简单：

int width = bitmapToScale.getWidth();
int height = bitmapToScale.getHeight();
Matrix matrix = new Matrix();
matrix.postScale(newWidth / width, newHeight / height);
Bitmap scaledBitmap = Bitmap.createBitmap(bitmapToScale, 0, 0, bitmapToScale.getWidth(), bitmapToScale.getHeight(), matrix, true);

【讨论】：

不清楚你对getNV21()的结果做了什么。

编辑了我的答案以反映这一点。谢谢。