给Android工程师的音视频教程之一文弄懂MediaCodec

Posted 2022-11-28 伯努力不努力

更多音视频知识请关注公众号：进击的代码家
音视频学习项目：LearnVideo AndroidMediaCodecDemo

其他本系列文章：
给Android工程师的音视频教程之一文弄懂MediaCodec
音视频开发基础知识(1)——图像基本概念
给Android工程师的音视频开发学习指南
音视频开发基础知识(2)——最通俗易懂的视频编解码理论知识

简介

MediaCodec是android提供的用于对音视频进行编解码的类，是Android Media基础框架的一部分，一般和 MediaExtractor, MediaMuxer, Surface和AudioTrack 一起使用。

MediaCodec的编解码流程

MediaCodec采用异步方式处理数据，并且使用了一组输入输出buffer（ByteBuffer）。

1.使用者从MediaCodec请求一个空的输入buffer（ByteBuffer），填充满数据后将它传递给MediaCodec处理。
2.MediaCodec处理完这些数据并将处理结果输出至一个空的输出buffer（ByteBuffer）中。
3.使用者从MediaCodec获取输出buffer的数据，消耗掉里面的数据，使用完输出buffer的数据之后，将其释放回编解码器。

流程如下图所示：

MediaCodec的生命周期

MediaCodec的生命周期有三种状态：Stopped、Executing、Released。

Stopped，包含三种子状态：Uninitialized、Configured、Error。
Executing，包含三种子状态：Flushed、Running、End-of-Stream。

Stopped的三种子状态：
Uninitialized：当创建了一个MediaCodec对象，此时处于Uninitialized状态。可以在任何状态调用reset()方法使MediaCodec返回到Uninitialized状态。

Configured：使用configure(…)方法对MediaCodec进行配置转为Configured状态。

Error：MediaCodec遇到错误时进入Error状态。错误可能是在队列操作时返回的错误或者异常导致的。

Executing的三种子状态：
Flushed：在调用start()方法后MediaCodec立即进入Flushed子状态，此时MediaCodec会拥有所有的缓存。可以在Executing状态的任何时候通过调用flush()方法返回到Flushed子状态。

Running：一旦第一个输入缓存（input buffer）被移出队列，MediaCodec就转入Running子状态，这种状态占据了MediaCodec的大部分生命周期。通过调用stop()方法转移到Uninitialized状态。

End-of-Stream：将一个带有end-of-stream标记的输入buffer入队列时，MediaCodec将转入End-of-Stream子状态。在这种状态下，MediaCodec不再接收之后的输入buffer，但它仍然产生输出buffer直到end-of-stream标记输出。

Released
当使用完MediaCodec后，必须调用release()方法释放其资源。调用 release()方法进入最终的Released状态。

主要API介绍

简介：

1.MediaCodec创建：
createDecoderByType/createEncoderByType：根据特定MIME类型(如"video/avc")创建codec。
createByCodecName：知道组件的确切名称(如OMX.google.mp3.decoder)的时候，根据组件名创建codec。使用MediaCodecList可以获取组件的名称。

2.configure：配置解码器或者编码器。
3.start：成功配置组件后调用start。

4.buffer处理的接口：
dequeueInputBuffer：从输入流队列中取数据进行编码操作。
queueInputBuffer：输入流入队列。
dequeueOutputBuffer：从输出队列中取出编码操作之后的数据。
releaseOutputBuffer：处理完成，释放ByteBuffer数据。

5.flush：清空的输入和输出端口。
6.stop：终止decode/encode会话
7.release：释放编解码器实例使用的资源。

MediaCodec创建

MediaCodec的一个实例处理一种特定类型的数据(例如MP3音频或H.264视频)，进行编码或解码操作。

MediaCodec创建：
1.可以使用MediaCodecList为特定的媒体格式创建一个MediaCodec。
可以从MediaExtractor#getTrackFormat获得track的格式。
使用MediaFormat#setFeatureEnabled注入想要添加的任何特性。
然后调用MediaCodecList#findDecoderForFormat来获取能够处理该特定媒体格式的编解码器的名称。
最后，使用createByCodecName(字符串)创建编解码器。

2.还可以使用createDecoder/EncoderByType(java.lang.String)为特定MIME类型创建首选的编解码器。但是，这不能用于注入特性，并且可能会创建一个不能处理特定媒体格式的编解码器。

configure

配置codec。

    public void configure(
            MediaFormat format,
            Surface surface, MediaCrypto crypto, int flags);

MediaFormat format：输入数据的格式(解码器)或输出数据的所需格式(编码器)。传null等同于传递MediaFormat#MediaFormat作为空的MediaFormat。

Surface surface：指定Surface，用于解码器输出的渲染。如果编解码器不生成原始视频输出(例如，不是视频解码器)和/或想配置解码器输出ByteBuffer，则传null。

MediaCrypto crypto：指定一个crypto对象，用于对媒体数据进行安全解密。对于非安全的编解码器，传null。

int flags：当组件是编码器时，flags指定为常量CONFIGURE_FLAG_ENCODE。

MediaFormat：封装描述媒体数据格式的信息(包括音频或视频)，以及可选的特性元数据。媒体数据的格式指定为key/value对。key是字符串。值可以integer、long、float、String或ByteBuffer。
特性元数据被指定为string/boolean对。

dequeueInputBuffer

public final int dequeueInputBuffer(long timeoutUs)

返回用于填充有效数据的输入buffer的索引，如果当前没有可用的buffer，则返回-1。
long timeoutUs：等待可用的输入buffer的时间。
如果timeoutUs == 0，则立即返回。
如果timeoutUs < 0，则无限期等待可用的输入buffer。
如果timeoutUs > 0，则等待“timeoutUs”微秒。

queueInputBuffer

在指定索引处填充输入buffer后，使用queueInputBuffer将buffer提交给组件。

特定于codec的数据

许多codec要求实际压缩的数据流之前必须有“特定于codec的数据”，即用于初始化codec的设置数据，如
AVC视频中的PPS/SPS。
vorbis音频中的code tables。

    public native final void queueInputBuffer(
            int index,
            int offset, int size, long presentationTimeUs, int flags)

int index：以前调用dequeueInputBuffer(long)返回的输入buffer的索引。
int offset：数据开始时输入buffer中的字节偏移量。
int size：有效输入数据的字节数。
long presentationTimeUs：此buffer的PTS(以微秒为单位)。
int flags：一个由BUFFER_FLAG_CODEC_CONFIG和BUFFER_FLAG_END_OF_STREAM标志组成的位掩码。虽然没有被禁止，但是大多数codec并不对输入buffer使用BUFFER_FLAG_KEY_FRAME标志。

BUFFER_FLAG_END_OF_STREAM：用于指示这是输入数据的最后一部分。

BUFFER_FLAG_CODEC_CONFIG：通过指定这个标志，可以在start()或flush()之后直接提交特定于codec的数据buffer。但是，如果您使用包含这些密钥的媒体格式配置编解码器，它们将在启动后由MediaCodec直接自动提交。因此，不建议使用BUFFER_FLAG_CODEC_CONFIG标志，只建议高级用户使用。

dequeueOutputBuffer

从MediaCodec获取输出buffer。

    public final int dequeueOutputBuffer(
            @NonNull BufferInfo info, long timeoutUs) 

返回值：已成功解码的输出buffer的索引或INFO_*常量之一(INFO_TRY_AGAIN_LATER, INFO_OUTPUT_FORMAT_CHANGED 或 INFO_OUTPUT_BUFFERS_CHANGED)。

返回INFO_TRY_AGAIN_LATER而timeoutUs指定为了非负值，表示超时了。
返回INFO_OUTPUT_FORMAT_CHANGED表示输出格式已更改，后续数据将遵循新格式。

BufferInfo info：输出buffer的metadata。
long timeoutUs：含义同dequeueInputBuffer中的timeoutUs参数。

BufferInfo

    public final static class BufferInfo 
        public void set(
                int newOffset, int newSize, long newTimeUs, int newFlags);
        public int offset;
        public int size;
        public long presentationTimeUs;
        public int flags;
    ;

offset：buffer中数据的起始偏移量。
注意设备之间的offset是不一致的。在一些设备上，offset是相对裁剪矩形的左上角像素，而在大多数设备上，offset是相对整个帧的左上角像素。

size：buffer中的数据量(以字节为单位)。如果是0则表示buffer中没有数据，可以丢弃。0大小的buffer的唯一用途是携带流结束标记。

presentationTimeUs：buffer的PTS(以微秒为单位)。来源于相应输入buffer一起传入的PTS。对于大小为0的buffer，应该忽略这个值。

flags：与buffer关联的标识信息，flags包含如下取值：
BUFFER_FLAG_KEY_FRAME：buffer包含关键帧的数据。
BUFFER_FLAG_CODEC_CONFIG：buffer包含编解码器初始化/编解码器特定的数据，而不是媒体数据。
BUFFER_FLAG_END_OF_STREAM：标志着流的结束，即在此之后没有buffer可用，除非后面跟着flush。
BUFFER_FLAG_PARTIAL_FRAME：buffer只包含帧的一部分，解码器应该对数据进行批处理，直到在解码帧之前出现没有该标志的buffer为止。

    public static final int BUFFER_FLAG_KEY_FRAME = 1;
    public static final int BUFFER_FLAG_CODEC_CONFIG = 2;
    public static final int BUFFER_FLAG_END_OF_STREAM = 4;
    public static final int BUFFER_FLAG_PARTIAL_FRAME = 8;

releaseOutputBuffer

使用此方法将输出buffer返回给codec或将其渲染在输出surface。

public void releaseOutputBuffer (int index, 
                boolean render)

boolean render：如果在配置codec时指定了一个有效的surface，则传递true会将此输出buffer在surface上渲染。一旦不再使用buffer，该surface将把buffer释放回codec。

同步和异步API的使用流程

同步API的使用流程

- 创建并配置MediaCodec对象。
- 循环直到完成：
  - 如果输入buffer准备好了：
    - 读取一段输入，将其填充到输入buffer中
  - 如果输出buffer准备好了：
    - 从输出buffer中获取数据进行处理。
- 处理完毕后，release MediaCodec 对象。

 MediaCodec codec = MediaCodec.createByCodecName(name);
 codec.configure(format, …);
 MediaFormat outputFormat = codec.getOutputFormat(); // option B
 codec.start();
 for (;;) 
  int inputBufferId = codec.dequeueInputBuffer(timeoutUs);
  if (inputBufferId >= 0) 
    ByteBuffer inputBuffer = codec.getInputBuffer(…);
    // fill inputBuffer with valid data
    …
    codec.queueInputBuffer(inputBufferId, …);
  
  int outputBufferId = codec.dequeueOutputBuffer(…);
  if (outputBufferId >= 0) 
    ByteBuffer outputBuffer = codec.getOutputBuffer(outputBufferId);
    MediaFormat bufferFormat = codec.getOutputFormat(outputBufferId); // option A
    // bufferFormat is identical to outputFormat
    // outputBuffer is ready to be processed or rendered.
    …
    codec.releaseOutputBuffer(outputBufferId, …);
   else if (outputBufferId == MediaCodec.INFO_OUTPUT_FORMAT_CHANGED) 
    // Subsequent data will conform to new format.
    // Can ignore if using getOutputFormat(outputBufferId)
    outputFormat = codec.getOutputFormat(); // option B
  
 
 codec.stop();
 codec.release();

异步API的使用流程

在Android 5.0, API21，引入了“异步模式”。

- 创建并配置MediaCodec对象。
- 给MediaCodec对象设置回调MediaCodec.Callback
- 在onInputBufferAvailable回调中：
    - 读取一段输入，将其填充到输入buffer中
- 在onOutputBufferAvailable回调中：
    - 从输出buffer中获取数据进行处理。
- 处理完毕后，release MediaCodec 对象。

 MediaCodec codec = MediaCodec.createByCodecName(name);
 MediaFormat mOutputFormat; // member variable
 codec.setCallback(new MediaCodec.Callback() 
  @Override
  void onInputBufferAvailable(MediaCodec mc, int inputBufferId) 
    ByteBuffer inputBuffer = codec.getInputBuffer(inputBufferId);
    // fill inputBuffer with valid data
    …
    codec.queueInputBuffer(inputBufferId, …);
  
 
  @Override
  void onOutputBufferAvailable(MediaCodec mc, int outputBufferId, …) 
    ByteBuffer outputBuffer = codec.getOutputBuffer(outputBufferId);
    MediaFormat bufferFormat = codec.getOutputFormat(outputBufferId); // option A
    // bufferFormat is equivalent to mOutputFormat
    // outputBuffer is ready to be processed or rendered.
    …
    codec.releaseOutputBuffer(outputBufferId, …);
  
 
  @Override
  void onOutputFormatChanged(MediaCodec mc, MediaFormat format) 
    // Subsequent data will conform to new format.
    // Can ignore if using getOutputFormat(outputBufferId)
    mOutputFormat = format; // option B
  
 
  @Override
  void onError(…) 
    …
  
 );
 codec.configure(format, …);
 mOutputFormat = codec.getOutputFormat(); // option B
 codec.start();
 // wait for processing to complete
 codec.stop();
 codec.release();

MediaCodec使用实践

通过MediaCodec进行编解码，播放视频和音频，具体示例见项目：
MediaCodecDemo

参考文章：
developer.android/reference//MediaCodec

更多音视频知识请关注公众号：进击的代码家