学习从零开发的Android音视频开发(13)——MediaCodec到OMX框架过程及其硬解码

Posted 2023-03-31 Panic Lin

MediaCodec到OMX框架过程

在讲NuPlayer时，NuPlayer解码部分会创建MediaCodec，并且最终到达OMX框架，先看MediaCodec的init函数

从init函数中可以看到，首先创建了ACodec，并且初始化了ALooper、AMessage，由于ACodec继承自AHandler，那么一套消息机制就有了。最后发送kWhatInit消息，收到消息的逻辑位于ACodec.cpp中

主要是调用了ACodec的initiateAllocateComponent函数

同样发送了一个kWhatAllocateComponent消息，消息中心收到后，会调用onAllocateComponent回调函数

通过该函数主要是先判断OMXClient和Server是否正常建立了连接，然后通过IOMX进行IPC通信，接着调用omx->allocateNode分配Node节点

同理看看onConfigureComponent

上面的代码会调用ACodec的configureCodec函数,由于太长不予展示，该函数用于构建一些编解码器，包括各种不同的音频编解码器和视频编解码器

MediaCodec硬解码

其调用的是在系统中注册过的解码器，硬件厂商会把自己的硬解码器注册进来，这就是硬解码(GPU负责)，如果厂商注册一个软解码器，则是软解码(CPU负责)

MediaCodec并不是真正的编解码器，真正的编解码器在OMX中，要保证是硬解码，在MediaCodec里有接口可以枚举所有解码器，每种编码可能都有多个解码器，区分哪个是软解码哪个是硬解码就行。如通过mime构建MediaCode:MediaCodec mediacodec=MediaCodec.createDecoderByType("video/avc")

从其函数的注释中我们可以看到其枚举了哪些编解码器

接下来看一下android系统中解码器的命名方式，软解码器通常是以OMX.google开头，硬解码器通常是以OMX.[hardware_vendor]开头，比如MTK的解码器以OMX.MTK开头，也有不遵守这个命名规范的，不以OMX.开头的情况也会被认为是软解码器

MediaCodec调用的是系统中注册的解码器，系统中可以存在很多解码器，但能够被应用的解码器是根据配置来的，即/system/etc/media_codecs.xml。这个文件一般由硬件或者系统的生产厂家在编译整个系统的时候提供，一般保存在代码的device/[company]/[codename]目录下。这个文件配置了系统中有哪些可用的Codec以及这些Codec对应的媒体文件类型。在这个文件里面，系统提供的软硬编解码器都需要被列出来。如果系统实际包含某个Codec但没配置在该文件中，那么应用程序也无法使用。

在这个配置文件里如果出现多个Codec对应同样类型的媒体格式，这些Codec都会被保留。当系统使用时会选择第一个匹配的Codec，除非指明了要软还是硬解码。但在framework层为上层提供服务的AwesomePlayer处理音频和视频的时候对选择软硬解码的参数没有设置。所以虽然底层支持选择，但对于上层使用MediaPlayer的java程序来说还是只能接受默认的Codec选取规则

android提供的命令行程序/system/bin/stagefright在播放音频文件的时候，可以根据参数来选择软硬解码，但该工具只支持播放音频。一般来说如果系统有对应的媒体硬件解码器那么我们总是会用到。在极少数情况下硬件解码器存在但不配置，有可能是这个硬件解码器还有Bug暂时不适合发布，所以不使用

从零开始学习音视频编程技术 开发环境搭建（Qt4.86手动设置环境，主要就是设置g++和qmake，比较透彻，附下载链接）

1.先下载安装Qt

我们使用的版本是4.8。

可以自行百度下载也可以从下面的网盘地址下载：

Qt库和编译器下载：

链接：http://pan.baidu.com/s/1hrUxLIG 密码：0181

Qt Creator下载：

链接：http://pan.baidu.com/s/1miPgpfi 密码：1hb6

 

下载后得到这三个文件：

 

其中 MinGW-gcc440_1.zip 是mingw编译器

qt-win-opensource-4.8.2-mingw.exe 是Qt的库

qt-creator-windows-opensource-2.8.1.exe 是IDE工具

 

首先在D盘新建一个文件夹命名为Qt

1.将MinGW-gcc440_1.zip解压到D:Qt 

 

2安装qt-creator-windows-opensource-2.8.1.exe

    安装路径输入 D:Qt4.8.24.8.2-mingw

    

 

    下一步之后，会要求选择mingw的目录，就是我们前面解压的目录：

 

    

    点击安装 稍等片刻后即可完成安装。

    

3.安装qt-creator-windows-opensource-2.8.1.exe

   这个简单直接下一步到末尾就行。

 

当然上面提到的路径只是个人喜好，各位可以随便改成自己的路径。

 

 

到这里还没结束,接下来就是最重要的配置步骤了：

打开Qt Creator新建工程，会发现这时候没办法新建工程。

因为我们还没有配置Qt的版本。配置方法如下：

 

点击菜单栏中的  工具>>选项

依次选择  构建和运行 >> Qt版本

是的这里需要手动设置Qt的版本，也就是说你可以同时按照多个版本的Qt然后都配置到这里，编译工程的时候就可以选择使用哪个版本编译。

 

 

首先先配置编译器：

选择编译器那一栏，点击添加>>MinGw

 

这时底下会出现一个显示编译器信息的界面：

在编译器路径那栏点击 浏览  找到上面解压的Mingw的路径，

在mingw的bin目录下找到一个mingw32-g++.exe：

完了 点击"应用" 是应用 不是确定。

 

接着添加Qt库：

选择Qt版本，点击添加

 

选择刚刚我们安装Qt库的路径中的 bin/qmake.exe

 

 

此时会在版本上多出一项 Qt 4.8.2.

接着点“应用”  是应用不是确定哦。

 

最后一步了：

好了现在可以点确定了。

 

 

到此，配置完成了。

 

 

下面新建一个工程试试吧：

 

点击菜单>>文件>>新建文件或项目：

新建一个GUI工程，如下：

点击选择，之后名字随便输入一个。

需要注意的是：工程路径和工程名字中 绝对不能含有中文 否则编译不过。

 

然后一直下一步吧。

 

之后点击左下角的按钮 编译并运行试试效果：

稍等片刻后，一个界面就弹出来了：

这就是GUI工程自动生成的界面。

 

 

好了，开发环境的搭建就到这了。

对Qt有兴趣的请自行百度学习资料，毕竟我们不是讲如何使用Qt，只是借助Qt这个工具来完成音视频项目的开发，后期的代码中，会尽量不使用Qt的内容。

 

原文地址：http://blog.yundiantech.com/?log=blog&id=6

 

http://blog.csdn.net/qq214517703/article/details/52583241