. Android ffmpeg 播放器之编译ffmpeg-01
Posted 九月阁
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了. Android ffmpeg 播放器之编译ffmpeg-01相关的知识，希望对你有一定的参考价值。
(一). android ffmpeg 播放器之编译ffmpeg-01
音视频开发领域是一门非常广阔的技术，一个从零开始的人，一旦踏入这个领域，如同走进一个全新的世界。 就我个人而言，我是通过嵌入式因为机缘巧合，第一次接触到音视频相关知识，对我而言是陌生的、未知的，但是从我敲出来那一行代码起，我再一次找到我第一次接触代码那种兴奋感。
0、磨刀不误砍柴工
因为我的专业问题，我比较熟悉C/C++，刚好不巧的是音视频开发大部分采用C/C++，因此在代码层面我并不需要重新去学习一份新的开发语言。
但是作为android相关的开发，终究避免不了使用java，毕竟你总得学会测试，否则写出来的代码连测试都无法测试，无法运行，那么你写出来的代码不过是一堆字符，如果你也像我一样是一名嵌入式路线的人，想要转换方向，从我个人的经历，跟你交流一下，在进入这个音视频方向之前，需要做一些准备。
- 掌握java的基础语法和面向对象编程，以后遇到不懂的再去学习java，没必要啃完整个java，毕竟我们的重点不在这里。
- 掌握基础的android app编程，主要是以熟悉开发工具android studio为主。
- 熟悉掌握java中的jni编程，比如参数的传递，java调用C/C++、 C/C++调用java，其中其中也包括CMake。
上面三点如果展开来讲，分别是三个大骨头，对于迷茫的我们，刚准备踏入大门，便想直接跨越三座的大山,那边会极度打击我们的信心，让我们更加迷茫，花的时间越多，偏离我们的目标会越远，所以要点到为止，分清我们当前学习的主次关系，我们的重点是学习音视频开发，以后以音视频开发为基础，遇到这三方面的坎，再去攻克。
1、ffmpeg简介
FFmpeg是一套可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序。采用LGPL或GPL许可证。它提供了录制、转换以及流化音视频的完整解决方案。它包含了非常先进的音频/视频编解码库libavcodec，为了保证高可移植性和编解码质量，libavcodec里很多code都是从头开发的。
他的简介就阐述到这里，这里提供ffmpeg 的官网http://ffmpeg.org/，下载版本FFmpeg 4.2.5
2、ffmpeg编译工具下载
编译ffmpeg使用NDK中的编译工具，这个是下载网站https://github.com/android/ndk/wiki/Unsupported-Downloads。
下载r22b该版本。
3、ffmpeg编译
对于第一次接触这种开源第三方的人而言，可能会有些措手无策，比如如何编译，如何生成动态库等等，甚至交叉编译是甚可能都没有涉及过，更别说编译出可以在Android上运行的动态库。
如果你对这些概念很模糊，可以花点时间去补充一下Linux下的C/C++编程等。
解压ffmpeg出来后，便如上面的图片所示，其中configure该脚本可以生成我们需要的编译使用到的Makefile，通过Makefile对整个工程进行管理。
可问题是如何知道它有哪些可有配置的参数？
哈哈哈，遇事不决，help来帮忙，可以通过下面指令获取到整个配置的帮助信息。
你会发现会打印出很多的配置信息，我就不一一介绍了，温馨提示：以后相同的开源库，也可以利用类似的方式进行编译。
我将编译的shell脚本贴出来，对于我选择的参数大概解释下，我的shell脚本如下：
#!/bin/bash
NDK_HOME="/home/gale/project/tool/android-ndk-r22b"
SYSROOT="$NDK_HOME/toolchains/llvm/prebuilt/linux-x86_64/sysroot"
SYSINCLUDE="$NDK_HOME/toolchains/llvm/prebuilt/linux-x86_64/sysroot/usr/include"
TOOLCHAINS="$NDK_HOME//toolchains/llvm/prebuilt/linux-x86_64/bin"
rm -rf ./android
function build_android()
echo "开始编译$ARCH........................"
./configure \\
--prefix=$PREFIX \\
--enable-static \\
--enable-shared \\
--enable-small \\
--disable-ffplay \\
--disable-ffprobe \\
--disable-avdevice \\
--enable-jni \\
--enable-mediacodec \\
--enable-decoder=h264_mediacodec \\
--enable-hwaccel=h264_mediacodec \\
--arch=$ARCH \\
--target-os=android \\
--enable-cross-compile \\
--cross-prefix=$CROSS_PREFIX \\
--sysroot=$SYSROOT \\
--sysinclude=$SYSINCLUDE \\
--cc=$TOOLCHAINS_CC \\
--cxx=$TOOLCHAINS_CXX
make clean
make -j4
make install
echo "结束编译$ARCH........................"
CROSS_PREFIX="$TOOLCHAINS/arm-linux-androideabi-"
TOOLCHAINS_CC="$TOOLCHAINS/armv7a-linux-androideabi21-clang"
TOOLCHAINS_CXX="$TOOLCHAINS/armv7a-linux-androideabi21-clang++"
ARCH=arm
PREFIX="./android/$ARCH"
build_android
###############################################################
CROSS_PREFIX="$TOOLCHAINS/aarch64-linux-android-"
TOOLCHAINS_CC="$TOOLCHAINS/aarch64-linux-android21-clang"
TOOLCHAINS_CXX="$TOOLCHAINS/aarch64-linux-android21-clang++"
ARCH=aarch64
PREFIX="./android/$ARCH"
build_android
然后直接运行脚本即可在当前文件夹下的android目录下生成对应的库文件。
4、ffmpeg编译部分选项说明
上面的只需要关注两个东西，分别是NDK_HOME和function build_android()，其中NDK_HOME就是你下载好的NDK编译工具，放在Linux中的哪个文件夹，这部分因人电脑而异。
function build_android()则是真正的ffmpeg的编译选项，里面的每个选项都可以在help里面查看，又不理解的可以自行百度，但是对于几个参数还是挑出来说明一下。
上面的编译脚本分别编译32位系统和64位系统的动态库和静态库。
--arch=$ARCH \\
--target-os=android \\
这两个选项主要是描述对应的系统位数和系统，一定要选择对，千万别选择os是Linux，因为会出现一些编译问题，导致后面无法编译通过。
--cross-prefix=$CROSS_PREFIX \\
--sysroot=$SYSROOT \\
--sysinclude=$SYSINCLUDE \\
--cc=$TOOLCHAINS_CC \\
--cxx=$TOOLCHAINS_CXX
而这一部分则是关于编译器的设置，因为我们的手机运行的android架构一般都是ARM的，不是X86的，因此需要通过交叉编译的方式在X86的主机上，编译出ARM的运行库，这种方式也就是所谓的交叉编译。
这里特别注意，因为android的编译器随着版本的迭代，目前是推荐使用clang来进行编译，因此要专门指定clang和clang++，否则会无法找到对应的编译器。
休息一下、不迷路~~
上面使用到的资料，可以关注我下面的公众号 『音视频开发修炼之路』 ，回复资料,便可以根据标题进行下载，感谢你的关注，如果有什么疑惑的可以在公众号上留言。
Android音乐播放器-使用FFmpeg及OpenSLES
文章目录
在之前的文章《FFmpeg解码音频代码》中，已经实现了使用FFmpeg解码音频为PCM。这次我们利用FFmpeg以及OpenSLES来实现一个简单的音乐播放器。
一、准备工作
在开始之前，我们需要使用之前文章中编译的Android版本的FFmpeg库，如果不清楚如何编译，请查看我的文章《最新版FFmpeg移植Android：编译so库(基于NDK r20和FFmpeg-4.1.0)》。同时也可以上我的github上直接下载已经编译好的库使用。需要注意的是，由于是debug使用，因此我并没有对FFmpeg进行剪裁，因此库的体积较大。
接下来，需要知道如何将第三方so库集成在Android工程中。同样，相关知识点在之前的博客《Android NDK开发: 通过C/C++调用第三方so库》中实践过。
最后一步，就是了解基本的OpenSLES的使用方法。由于我们实现的只是最简单的播放功能，因此只要能实现基本的播放功能即可。
工程放在github上：FFmpegAudioPlayer，本篇博客只讲一些需要注意的地方。
二、目标
该音乐播放器应该实现以下几个基本目标：
- 解码并播放主流格式：mp3、aac、wav等
- 支持seek功能
- 能实时显示播放进度及状态
- 对于内嵌专辑图片的音乐文件，能够显示图片。
- 播放暂停
- 获取音频时长
三、整体架构
架构如下：
- IAudioDataProvider是向player提供解码好的PCM数据的接口。
- AudioFileDecoder2是具体的解码类，它实现了IAudioDataProvider接口，向player提供解码好的数据。
- AudioFilePlayer是控制类，控制比如播放暂停、进度通知等。
- Commons是存放一些诸如采样率等常量的类。
- AACUtil是针对aac编码的文件获取时长的类。FFmpeg无法准确获取aac编码音频的duration。
- JavaStateListener是native向Java层通知状态变更的监听类。
- native-lib是面向java的jni接口封装。
四、OpenSLES
OpenSLES是一个功能非常强大的音频框架，Android对它也有支持，并且由于是在native端，性能更好，可操控性也更强。
要在Android中使用OpenSLES，必须在make文件中指定链接OpenSLES库。OpenSLES和Android的log库一样，都是Android内置的，因此我们只要指定链接它就好，无需为它单独编译库。
target_link_libraries( # Specifies the target library.
native-lib
android
# 链接OpenSLES库
OpenSLES
# Links the target library to the log library
# included in the NDK.
$log-lib
z
# 链接FFmpeg及相关依赖库
# $CMAKE_SOURCE_DIR/jniLibs/$ANDROID_ABI/libcharset.so
# $CMAKE_SOURCE_DIR/jniLibs/$ANDROID_ABI/libiconv.so
$CMAKE_SOURCE_DIR/jniLibs/$ANDROID_ABI/libfdk-aac.so
$CMAKE_SOURCE_DIR/jniLibs/$ANDROID_ABI/libmp3lame.so
$CMAKE_SOURCE_DIR/jniLibs/$ANDROID_ABI/libx264.x.so
$CMAKE_SOURCE_DIR/jniLibs/$ANDROID_ABI/libavformat.so
$CMAKE_SOURCE_DIR/jniLibs/$ANDROID_ABI/libavfilter.so
$CMAKE_SOURCE_DIR/jniLibs/$ANDROID_ABI/libavcodec.so
$CMAKE_SOURCE_DIR/jniLibs/$ANDROID_ABI/libavutil.so
$CMAKE_SOURCE_DIR/jniLibs/$ANDROID_ABI/libswresample.so
$CMAKE_SOURCE_DIR/jniLibs/$ANDROID_ABI/libswscale.so
$CMAKE_SOURCE_DIR/jniLibs/$ANDROID_ABI/libpostproc.so
)
既然已经写出了，就顺道一起讲一下第三方so库的一种更简单的集成方式。在之前的博客中，我们需要使用两个函数：建立库、设定库文件位置。其实最简单的方式就是直接在target_link_libraries中直接指定库的位置即可。注意的是，由于我只编译了armv7和arm64的FFmpeg库，因此一定要在build.gradle中限制ABI。
externalNativeBuild
cmake
arguments '-DANDROID_PLATFORM=26'
cppFlags '-std=c++11'
ndk
abiFilters 'armeabi-v7a', 'arm64-v8a'
接着，我们需要指定OpenSLES音频源的格式。通常我们都使用如下规格
- pcm格式
- 双声道
- 44.1kHz采样率
- 帧格式为int16，小尾端
因此设置格式时如下：
SLDataFormat_PCM pcmFormat = SL_DATAFORMAT_PCM, 2, SL_SAMPLINGRATE_44_1, SL_PCMSAMPLEFORMAT_FIXED_16, SL_PCMSAMPLEFORMAT_FIXED_16, SL_SPEAKER_FRONT_LEFT | SL_SPEAKER_FRONT_RIGHT, SL_BYTEORDER_LITTLEENDIAN;
然后是注册回调函数：
result = (*playerBufferQueue)->RegisterCallback(playerBufferQueue, audio_callback, this);
回调函数如下：
void audio_callback(SLAndroidSimpleBufferQueueItf bq, void *context)
SLAudioPlayer *player = (SLAudioPlayer *)context;
player->processAudio();
它调用了SLAudioPlayer的
void SLAudioPlayer::processAudio()
if(spareDataProvider != NULL)
dataProvider = spareDataProvider;
spareDataProvider = NULL;
if(removeAudioDataProviderFlag)
removeAudioDataProviderFlag = false;
dataProvider = NULL;
if(dataProvider != NULL)
int num_samples = 0;
memset(buffer, 0, MAX_SAMPLE_COUNT * 2 * sizeof(int16_t));
dataProvider->getAudioData(buffer, &num_samples);
(*playerBufferQueue)->Enqueue(playerBufferQueue, buffer, num_samples * 2 * sizeof(int16_t));
dataProvider是用来提供已解码的PCM数据的。注意num_samples作为参数传递给dataProvider->getAudioData()时，代表当前的buffer最大帧数容量是多少，dataProvider要根据此容量向buffer中写入数据。当函数结束时，此时num_samples被dataProvider->getAudioData()修改为此次获取的有效帧数。
使用OpenSLES时，如果使用buffer，一定要在初始化完成之后，手动Enqueue一下，这样OpenSLES才会开始主动向回调函数请求数据。
//主动Enqueue一次buffer，OpenSLES才会主动向我们请求数据
(*playerBufferQueue)->Enqueue(playerBufferQueue, buffer, MAX_SAMPLE_COUNT * 2 * sizeof(int16_t));
五、解码
解码和之前的《FFmpeg解码音频代码》是一致的，不同的是，这次我们将解码放在一个单独的线程中，然后使用一个有限大的buffer来存储解码的PCM数据。当buffer满时会阻塞解码线程，避免占用过多内存。
另外注意的点是一定要对buffer读写做多线程保护。
比较麻烦的是AAC音频，FFmpeg无法准确的到AAC音频的duration，因此单独写了一个工具AACUtil来获取AAC音频的长度。
FFmpeg解码的时候，内部会有信息打印出来，因此需要给FFmpeg提供一个打印log的回调：
//log回调
static void log_callback(void *ctx, int level, const char *fmt, va_list args)
if(level == AV_LOG_ERROR)
__android_log_print(ANDROID_LOG_DEBUG, "FFmpeg", fmt, args);
else
__android_log_print(ANDROID_LOG_ERROR, "FFmpeg", fmt, args);
通过下面这句向FFmpeg设置回调：
av_log_set_callback(log_callback);
由于FFmpeg打印的log速度快量又大，很可能导致AndroidStudio缓冲区满而无法正常显示，因此在不需要的时候注释掉上面那句。
六、状态通知
状态通知我是通过native调用java方法这一形式实现的。有所不同的是，这一次java方法都不是在主线程被调用的，这样就会面临JNIEnv失效的问题。因此在调用这些方法时，首先要对JNIEnv进行attach操作，让它attach到当前被调用的线程，然后才能调用Java方法。
void JavaStateListener::progressChanged(int64_t currentProgress, bool isPlayFinished)
LOGD("JavaStateListener: progressChanged, position = %ld", currentProgress);
if(vm == NULL || listener == NULL || progressChangedMethod == NULL)
return;
JNIEnv *env;
bool needDetach = false;
if(vm->GetEnv((void **)&env, JNI_VERSION_1_6) == JNI_EDETACHED)
needDetach = true;
if(vm->AttachCurrentThread(&env, 0) != 0)
LOGE("Error to attach env when progressChanged");
return;
env->CallVoidMethod(listener, progressChangedMethod, currentProgress, isPlayFinished);
if(needDetach)
vm->DetachCurrentThread();
监听器初始化时，要先解析java类找到对应的method。
JavaStateListener::JavaStateListener(JNIEnv *env, jobject listener)
// this->env = env;
env->GetJavaVM(&vm);
this->listener = env->NewGlobalRef(listener);
// jclass cls = env->FindClass("com/zu/ffmpegaudioplayer/MainActivity");
jclass cls = env->GetObjectClass(listener);
this->infoGetMethod = env->GetMethodID(cls, "onInfoGet", "(JI)V");
this->progressChangedMethod = env->GetMethodID(cls, "onProgressChanged", "(JZ)V");
this->playStateChangedMethod = env->GetMethodID(cls, "onPlayStateChanged", "(Z)V");
对应的，java的监听器接口要有如下三个方法对应起来：
fun onInfoGet(duration: Long, picBufferLen: Int)
fun onProgressChanged(progress: Long, isPlayFinished: Boolean)
fun onPlayStateChanged(isPlay: Boolean)
对于播放进度的把控，由于工程较小，所以也没有特别地区分功能，因此这个任务落在了decoder身上。当然，player也可以。FFmpeg解码出的帧带的pts就是当前帧的播放时间戳。至于在什么时候进行通知，肯定是在player向decoder要数据的时候，表示player接下来就要播放这帧音频了，所以我们把这帧音频的时间戳通知给java层作为播放进度。
if(node->pts != AV_NOPTS_VALUE)
currentPosition = (int64_t)(node->pts * av_q2d(audioStream->time_base) * 1000);
// LOGD("Current time in seconds is %ld ms", currentPosition);
if(progressChangedCallback != NULL)
if(fileDecodeState == DECODING_FINISHED && bufferSize == 0)
progressChangedCallback(currentPosition, true);
else if(abs(currentPosition - oldPosition) >= progressUpdateInterval)
progressChangedCallback(currentPosition, false);
oldPosition = currentPosition;
对于FFmpeg里的时间单位，一般都是用time_base表示，它的单位是秒。AVFrame的pts则表示“显示时间戳”，它的单位是time_base，表示有pts个time_base秒。而time_base以一个结构体ACVRational，这个结构体表示一个分数，把分子和分母分开存储了，所以先用av_q2d将其转化为一个double，与pts相乘后就表示当前以秒为单位表示的时间戳。然后再乘1000，转化为毫秒ms。
至此，这个音乐播放器的关键部分已经讲完了，大家可以去我的github下载项目。
以上是关于. Android ffmpeg 播放器之编译ffmpeg-01的主要内容，如果未能解决你的问题，请参考以下文章
Android音乐播放器-使用FFmpeg及OpenSLES
Android音乐播放器-使用FFmpeg及OpenSLES
ijkPLayer 0.8.8播放rtsp（android），编译出来的库需要在真机上调试吗？