使用 MediaCodec 和 MediaMuxer 录制视频，但码率和帧率不正确

Posted 2023-02-25

【中文标题】使用 MediaCodec 和 MediaMuxer 录制视频，但码率和帧率不正确

【英文标题】：Record video with MediaCodec and MediaMuxer, but the bitrate and framerate are incorrect

【发布时间】：2015-06-05 14:17:02

【问题描述】：

我编写了一个演示来使用 MediaCodec 和 MediaMuxer 录制视频。

我用我的演示录制视频并使用 ffprobe 检查视频， 结果如下：

  Duration: 00:00:06.86, start: 0.000000, bitrate: 723 kb/s
Stream #0:0(eng): Video: h264 (High) (avc1 / 0x31637661), yuv420p, 320x240, 619 kb/s, SAR 1:1 DAR 4:3, 30.02 fps, 30 tbr, 90k tbn, 180k tbc (default)
Metadata:
  creation_time   : 2015-06-05 13:19:24
  handler_name    : VideoHandle
Stream #0:1(eng): Audio: aac (LC) (mp4a / 0x6134706D), 44100 Hz, mono, fltp, 96 kb/s (default)
Metadata:
  creation_time   : 2015-06-05 13:19:24
  handler_name    : SoundHandle

里面包含了视频和音频的信息，我发现音频属性和我在源码中设置的一样，但是视频属性不全。 我的视频设置源代码如下：

        MediaFormat format = MediaFormat.createVideoFormat(MIME_TYPE, mWidth, mHeight);
    format.setInteger(MediaFormat.KEY_COLOR_FORMAT,
            MediaCodecInfo.CodecCapabilities.COLOR_FormatSurface);
    format.setInteger(MediaFormat.KEY_BIT_RATE, 384000);
    format.setInteger(MediaFormat.KEY_FRAME_RATE, 19);
    format.setInteger(MediaFormat.KEY_I_FRAME_INTERVAL, 5);
    if (VERBOSE) Log.d(TAG, "format: " + format);
    mVideoEncoder = MediaCodec.createEncoderByType(MIME_TYPE);
    mVideoEncoder.configure(format, null, null, MediaCodec.CONFIGURE_FLAG_ENCODE);
    mInputSurface = mVideoEncoder.createInputSurface();
    mVideoEncoder.start();

视频的宽度和高度是正确的，但是比特率和帧率高于我在源代码中设置的。这导致视频文件大小远大于 我期望。 然后，我修改了我的源代码以删除音频录制线程，只录制视频。但它没有任何区别，比特率和帧率也更高。 谁能告诉我原因并给我一些建议？

还有另一个问题。我偶尔会录一段破碎的视频，可以通过系统播放器播放，但视频的开头只是黑色，1或2秒后显示正常图像。我不知道如何在 *** 中上传文件，我可以将损坏的视频文件发送给任何需要它的人。 有人来过这个问题吗？

添加： 我发现了另一个奇怪的事情： 我的视频编码配置：

private int mWidth = 480;
private int mHeight = 848;
private int mVideoBitrate = 1200 * 1000;

    MediaFormat format = MediaFormat.createVideoFormat(MIME_TYPE, 480, 848);

    format.setInteger(MediaFormat.KEY_COLOR_FORMAT,
            MediaCodecInfo.CodecCapabilities.COLOR_FormatSurface);
    format.setInteger(MediaFormat.KEY_BIT_RATE, 1200000);
    format.setInteger(MediaFormat.KEY_FRAME_RATE, 30);
    format.setInteger(MediaFormat.KEY_I_FRAME_INTERVAL, 1);

但实际的视频信息是：

  Duration: 00:00:06.01, start: 0.000000, bitrate: 6491 kb/s
Stream #0:0(eng): Audio: aac (LC) (mp4a / 0x6134706D), 44100 Hz, mono, fltp, 15 kb/s (default)
Metadata:
  creation_time   : 2015-09-30 15:44:18
  handler_name    : SoundHandle
Stream #0:1(eng): Video: h264 (Baseline) (avc1 / 0x31637661), yuv420p, 480x848, 6484 kb/s, SAR 1:1 DAR 30:53, 16 fps, 30 tbr, 90k tbn, 180k tbc (default)
Metadata:
  creation_time   : 2015-09-30 15:44:18
  handler_name    : VideoHandle

【问题讨论】：

嗨@dragonfly你成功完成了音频和视频录制吗？？

是的。我终于做到了。

我衷心地请求您能与我分享演示。 @蜻蜓

@Ali 你可以从这个项目中得到你想要的：github.com/google/grafika

兄弟我使用这个 grafika(ContinuesCaptureActivity) 并创建演示，但问题是这个演示工作没有音频所以我如何添加？请看这个问题***.com/questions/53494059/…

【参考方案1】：

您的预期帧速率 (19fps) 似乎与实际帧速率 (30fps) 不符。编码器试图满足以 19fps 提交的帧的比特率要求，但它们的输入速度更快，因此它未命中并且实际比特率更高。我假设 30fps 值是根据视频文件中的实际演示时间戳确定的，这些时间戳由传递给 MediaMuxer 的演示时间戳设置。如果您想要 19fps 的视频，则需要生成相隔 (1000/19) 毫秒的时间戳。

如果您的输入视频为 30fps，则您需要在编码过程中丢帧以达到 19fps。 MediaCodec 不会为您丢帧——它会对您传入的所有内容进行编码。

我不知道你为什么会在视频开始时看到断断续续的部分。

【讨论】：

如果 MediaCodec 对输入的每一帧进行编码，则目标视频的帧速率将由输入源（如相机）的速率决定。也就是说，MediaCodec 无法确定帧率，但为什么 MediaCodec 允许应用程序通过 MediaFormat.KEY_FRAME_RATE 设置帧率呢？这是一个错误还是我做出了错误的假设？

您需要提供帧速率的估计值，以便编解码器可以配置适当的压缩级别以实现目标比特率。 KEY_FRAME_RATE 是您的应用程序告诉编解码器即将发生什么的一种方式，而不是告诉编解码器要生成什么。它也被考虑到关键帧频率——如果您要求每秒 30fps 的关键帧，您将每 30 帧获得一个关键帧。请记住，H.264 视频流没有时间戳——那些在 .mp4 文件中，由 MediaMuxer 添加——所以一些编解码器可能只是通过未检查的 PTS 值。

谢谢，在您的帮助下，我成功录制了 19 fps 的视频。一开始我在drainEncoder的过程中跳帧，结果视频的图像很模糊，就像马赛克一样。然后我换个方式，在SurfaceTexture.OnFrameAvailableListener跳过了一些帧，录下来的视频就正常了。

嗨，法登。因为你的好意，我终于完成了我的工作。但我仍然担心一件事。我在***.com/questions/30709672/…创建了一个问题，你能给我一些建议吗？

@Sunshinetpu：编码器将对您提供的每一帧进行编码。如果要将 60fps 视频转换为 30fps 视频，则不需要将一半的​​帧传递给编码器。调用解码器的releaseOutputBuffer() 并将渲染标志设置为false 应该可以解决问题——该帧不会在编码器的输入表面上渲染。如果你不控制解码器，事情就更难了。您可以使用 SurfaceTexture 接收帧，然后使用 GLES 将每隔一帧渲染到编码器的 Surface。 （bigflake 和 Grafika 有一些有用的代码，但您需要将它们组合在一起。）