如何从 ARGB 帧渲染视频

Posted 2023-04-18

【中文标题】如何从 ARGB 帧渲染视频

【英文标题】：How to render video from ARGB Frames

【发布时间】：2020-11-20 02:35:11

【问题描述】：

我正在使用Microsoft.MixedReality.WebRTC 库，并计划将它用于我的下一个项目 - 实时视频聊天应用程序。 我已经能够建立连接并传递视频帧。

如何正确渲染这些帧并将它们显示为视频？

使用 WPF 的 MediaElement 似乎很容易，但我只能输入一个 Uri 对象作为源，我不能单帧喂它，AFAIK。

我已阅读到绘制位图是一种可能的解决方案，但我确信这意味着需要花费大量时间重新发明***和测试，除非没有其他方法，否则我不喜欢这样做。

该库的工作方式如下： 每次客户端接收到新帧时，都会引发 Argb32VideoFrameReady 事件。然后将Argb32VideoFrame 结构对象传递给回调，其中包含原始数据的IntPtr。还提供了Height、Width 和Stride。

More Information on the specific struct here

我有什么方法可以做到这一点？

我打算使用 WPF。 该解决方案应针对 Windows 7+ 和 .Net Framework 4.6.2。

提前致谢。

【问题讨论】：

由于您已经拥有原始像素数据，您可能只需将其写入 WriteableBitmap。请参阅docs.microsoft.com/en-us/dotnet/api/… 或将其复制到后台线程中的 BackBuffer 中：docs.microsoft.com/en-us/dotnet/api/…

【参考方案1】：

在 XAML 中使用 Image 元素

<Image x:Name="image"/>

下面的简单方法会将帧直接复制到分配给 Image 的 Source 属性的 WriteableBitmap 中。

private void UpdateImage(Argb32VideoFrame frame)

    var bitmap = image.Source as WriteableBitmap;
    var width = (int)frame.width;
    var height = (int)frame.height;

    if (bitmap == null ||
        bitmap.PixelWidth != width ||
        bitmap.PixelHeight != height)
    
        bitmap = new WriteableBitmap(
            width, height, 96, 96, PixelFormats.Bgra32, null);
        image.Source = bitmap;
    

    bitmap.WritePixels(
        new Int32Rect(0, 0, width, height),
        frame.data, height * frame.stride, frame.stride);

ARGBVideoFrame 来自这里：https://github.com/microsoft/MixedReality-WebRTC/blob/master/libs/Microsoft.MixedReality.WebRTC/VideoFrame.cs

PixelFormats.Bgra32 似乎是正确的格式，由于对结构的以下评论：

ARGB 分量的顺序是小端序的 32 位整数，因此 0xAARRGGBB 或 (B, G, R, A) 作为内存中的字节序列，其中 B 在前，A 在后。