Android FFmpeg开发,FFmpeg编译与集成

Posted lorienzhang

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Android FFmpeg开发,FFmpeg编译与集成相关的知识,希望对你有一定的参考价值。

一、准备交叉编译环境

我的环境如下:

  • 系统:ubuntu20.04
  • NDK版本:r17c

NDK构建交叉工具链的方法参考:https://developer.android.com/ndk/guides/standalone_toolchain?hl=zh-cn

NDK r17c下载链接:https://developer.android.com/ndk/downloads/older_releases?hl=zh-cn#ndk-17c-downloads,下载之后解压,我的NDK解压路径为:/work/android/sdk/ndk/android-ndk-r17c/

安装独立工具链需要安装python,如果没有,安装下:

lorien@ubuntu-20: sudo apt-get install python

然后执行工具链构建脚本:

lorien@ubuntu-20: cd /work/android/sdk/ndk/android-ndk-r17c/build/tools/

lorien@ubuntu-20: ./make_standalone_toolchain.py \\
    --arch arm64 \\
    --api 21 \\
    --install-dir /work/tmp/android-toolchain

–install-dir参数指定了交叉工具链的路径,进入该目录看下:

lorien@ubuntu-20: cd /work/tmp/android-toolchain/
lorien@ubuntu-20: ls
aarch64-linux-android  COPYING       COPYING.LIB      lib      manifest_4691093.xml     MODULE_LICENSE_MIT  repo.prop  test
AndroidVersion.txt     COPYING3      COPYING.RUNTIME  lib64    MODULE_LICENSE_BSD_LIKE  NOTICE              share
bin                    COPYING3.LIB  include          libexec  MODULE_LICENSE_GPL       prebuilt_include    sysroot

几个比较重要的目录:

  • bin目录:里面是编译、链接可执行工具
  • sysroot:里面是基础库的头文件和lib

二、交叉编译ffmpeg

首先,下载ffmpeg源码:

lorien@ubuntu-20: git clone https://git.ffmpeg.org/ffmpeg.git ffmpeg

进入ffmpeg源码根目录,编写配置脚本config-arm64.sh:

#!/bin/bash

export PATH=$PATH:/work/tmp/android-toolchain/bin

SYSROOT=/work/tmp/android-toolchain/sysroot
target_host=aarch64-linux-android

export CFLAGS="-fPIC -D__ANDROID_API__=21 -I$SYSROOT/usr/include"
export LDFLAGS="-L$SYSROOT/usr/lib"

./configure --cross-prefix=$target_host- \\
	--enable-cross-compile \\
	--sysroot=$SYSROOT \\
	--arch=aarch64 \\
	--target-os=linux \\
	--enable-static \\
	--disable-shared \\
	--enable-gpl \\
	--enable-nonfree \\
	--disable-debug \\
	--enable-small \\
	--disable-ffmpeg \\
	--disable-ffplay \\
	--disable-ffprobe \\
	--disable-doc \\
	--disable-devices \\
	--disable-avdevice \\
	--disable-postproc \\
	--prefix=$(pwd)/install/

make clean
make -j4
make install

编译可能遇到错误:

错误一:

libavcodec/aaccoder.c: In function 'search_for_ms':
libavcodec/aaccoder.c:803:25: error: expected identifier or '(' before numeric constant
                     int B0 = 0, B1 = 0;
                         ^
libavcodec/aaccoder.c:865:28: error: lvalue required as left operand of assignment
                         B0 += b1+b2;
                            ^
libavcodec/aaccoder.c:866:25: error: 'B1' undeclared (first use in this function)
                         B1 += b3+b4;
                         ^
libavcodec/aaccoder.c:866:25: note: each undeclared identifier is reported only once for each function it appears in
make: *** [libavcodec/aaccoder.o] Error 1

解决:将libavcodec/aaccoder.c文件B0变量替换成b0

错误二:

libavcodec/hevc_mvs.c: In function 'derive_spatial_merge_candidates':
libavcodec/hevc_mvs.c:208:15: error: 'y0000000' undeclared (first use in this function)
             ((y ## v) >> s->ps.sps->log2_min_pu_size))
               ^
libavcodec/hevc_mvs.c:204:14: note: in definition of macro 'TAB_MVF'
     tab_mvf[(y) * min_pu_width + x]
              ^
libavcodec/hevc_mvs.c:274:16: note: in expansion of macro 'TAB_MVF_PU'
     (cand && !(TAB_MVF_PU(v).pred_flag == PF_INTRA))
                ^
libavcodec/hevc_mvs.c:368:23: note: in expansion of macro 'AVAILABLE'
     is_available_b0 = AVAILABLE(cand_up_right, B0) &&
                       ^
libavcodec/hevc_mvs.c:208:15: note: each undeclared identifier is reported only once for each function it appears in
             ((y ## v) >> s->ps.sps->log2_min_pu_size))

解决: 将libavcodec/hevc_mvs.c文件的变量B0改成b0,xB0改成xb0,yB0改成yb0

错误三:

libavcodec/opus_pvq.c: In function ‘quant_band_template’:
libavcodec/opus_pvq.c:498:9: error: expected identifier or ‘(’ before
numeric constant
int B0 = blocks;
^ libavcodec/opus_pvq.c:559:12: error: lvalue required as left operand of assignment
B0 = blocks;
^ make: *** [libavcodec/opus_pvq.o] Error 1

解决:将libavcodec/opus_pvq.c文件的变量B0改成b0

编译成功后,我们通过make install进行安装,看下最终编译产物:

lorien@ubuntu-20: cd /work/android/media/ffmpeg/install/
lorien@ubuntu-20: ls
include  lib  share

lorien@ubuntu-20: cd lib
lorien@ubuntu-20: ls
libavcodec.a  libavformat.a  libavutil.a  libswresample.a  libswscale.a  pkgconfig

可以看到在lib下有一系列静态库文件。.a文件有点多,下面我们将所有.a文件通过aarch64-linux-android-ld命令打包一个so文件,方便后面引入,ld命令各参数的含义不做过多解释,大家自行google,打包脚本如下:

#!/bin/bash

export PATH=$PATH:/work/tmp/android-toolchain/bin
SYSROOT=/work/tmp/android-toolchain/sysroot

aarch64-linux-android-ld -rpath-link=-L$SYSROOT/usr/lib \\
    -L$SYSROOT/usr/lib \\
    -lc -lm -lz -ldl \\
    -soname libffmpeg.so \\
    -shared \\
    -nostdlib \\
    -Bsymbolic \\
    --whole-archive \\
    --no-undefined \\
    -o libffmpeg.so \\
    libavcodec.a libavformat.a libavutil.a libswresample.a libswscale.a \\
    $SYSROOT/../lib/gcc/aarch64-linux-android/4.9.x/libgcc.a

通过ld命令,将所有.a文件打包成libffmpeg.so文件。接下来再用strip命令优化下so:

lorien@ubuntu-20: aarch64-linux-android-strip libffmpeg.so

至此,libffmpeg.so库文件就已经制作好了。

三、集成

首先,我们使用Android Studio创建一个native工程:HelloFFmpeg,创建将上面编译产物拷贝到工程相应目录下,需要拷贝的内容分为:头文件和库文件两个部分。

产物拷贝进工程之后,接下来我们编写CMakeList.txt,指定编译参数,主要指定ffmpeg头文件以及库文件等编译参数:

cmake_minimum_required(VERSION 3.10.2)

project("helloffmpeg")

include_directories(
        include
        $CMAKE_SOURCE_DIR/util)

add_library( # Sets the name of the library.
        hello-ffmpeg

        # Sets the library as a shared library.
        SHARED

        # Provides a relative path to your source file(s).
        hello-ffmpeg.cpp)

add_library(ffmpeg SHARED IMPORTED)
set_target_properties(ffmpeg PROPERTIES IMPORTED_LOCATION $CMAKE_SOURCE_DIR/../jniLibs/$ANDROID_ABI/libffmpeg.so)

find_library( # Sets the name of the path variable.
        log-lib

        # Specifies the name of the NDK library that
        # you want CMake to locate.
        log)

target_link_libraries( # Specifies the target library.
        hello-ffmpeg

        # Links the target library to the log library
        # included in the NDK.
        $log-lib
        ffmpeg)

接着,我们编写JNI调用下ffmpeg相关接口,并通过Android TextView组件予以展示:

#include <jni.h>
#include <string>

#include "util/LogUtil.h"

extern "C" 
#include "libavcodec/version.h"
#include "libavcodec/avcodec.h"
#include "libavformat/version.h"
#include "libavutil/version.h"
#include "libavfilter/version.h"
#include "libswresample/version.h"
#include "libswscale/version.h"


extern "C" JNIEXPORT jstring JNICALL
Java_com_example_helloffmpeg_media_FFMediaPlayerKt_nativeGetFFmpegVersion(
        JNIEnv* env,
        jclass clazz) 

    char strBuffer[1024 * 4] = 0;
    strcat(strBuffer, "libavcodec : ");
    strcat(strBuffer, AV_STRINGIFY(LIBAVCODEC_VERSION));
    strcat(strBuffer, "\\nlibavformat : ");
    strcat(strBuffer, AV_STRINGIFY(LIBAVFORMAT_VERSION));
    strcat(strBuffer, "\\nlibavutil : ");
    strcat(strBuffer, AV_STRINGIFY(LIBAVUTIL_VERSION));
    strcat(strBuffer, "\\nlibavfilter : ");
    strcat(strBuffer, AV_STRINGIFY(LIBAVFILTER_VERSION));
    strcat(strBuffer, "\\nlibswresample : ");
    strcat(strBuffer, AV_STRINGIFY(LIBSWRESAMPLE_VERSION));
    strcat(strBuffer, "\\nlibswscale : ");
    strcat(strBuffer, AV_STRINGIFY(LIBSWSCALE_VERSION));
    strcat(strBuffer, "\\navcodec_config : ");
    strcat(strBuffer, avcodec_configuration());
    strcat(strBuffer, "\\navcodec_license : ");
    strcat(strBuffer, avcodec_license());
    LOGD("GetFFmpegVersion\\n%s", strBuffer);

    return env->NewStringUTF(strBuffer);

最终,TextView展示内容如下:

四、总结

本文我们借助Android NDK对ffmpeg进行了交叉编译,同时在Android工程完成了集成,接下来,我们将通过FFmpeg对MP4格式的视频进行解码,并在Android surfaceview上展示出视频画面。感兴趣的朋友欢迎继续阅读:Android FFmpeg开发(二),实现视频解码和渲染

附上源码地址

git clone git@github.com:lorienzhang/HelloFFmpeg.git
# 检出 v1 tag 进行查看
git checkout v1

. Android ffmpeg 播放器之编译ffmpeg-01

(一). Android ffmpeg 播放器之编译ffmpeg-01

音视频开发领域是一门非常广阔的技术,一个从零开始的人,一旦踏入这个领域,如同走进一个全新的世界。 就我个人而言,我是通过嵌入式因为机缘巧合,第一次接触到音视频相关知识,对我而言是陌生的、未知的,但是从我敲出来那一行代码起,我再一次找到我第一次接触代码那种兴奋感。

0、磨刀不误砍柴工

因为我的专业问题,我比较熟悉C/C++,刚好不巧的是音视频开发大部分采用C/C++,因此在代码层面我并不需要重新去学习一份新的开发语言。

但是作为android相关的开发,终究避免不了使用java,毕竟你总得学会测试,否则写出来的代码连测试都无法测试,无法运行,那么你写出来的代码不过是一堆字符,如果你也像我一样是一名嵌入式路线的人,想要转换方向,从我个人的经历,跟你交流一下,在进入这个音视频方向之前,需要做一些准备。

  • 掌握java的基础语法和面向对象编程,以后遇到不懂的再去学习java,没必要啃完整个java,毕竟我们的重点不在这里。
  • 掌握基础的android app编程,主要是以熟悉开发工具android studio为主。
  • 熟悉掌握java中的jni编程,比如参数的传递,java调用C/C++、 C/C++调用java,其中其中也包括CMake。

上面三点如果展开来讲,分别是三个大骨头,对于迷茫的我们,刚准备踏入大门,便想直接跨越三座的大山,那边会极度打击我们的信心,让我们更加迷茫,花的时间越多,偏离我们的目标会越远,所以要点到为止,分清我们当前学习的主次关系,我们的重点是学习音视频开发,以后以音视频开发为基础,遇到这三方面的坎,再去攻克。

1、ffmpeg简介

FFmpeg是一套可以用来记录、转换数字音频、视频,并能将其转化为流的开源计算机程序。采用LGPL或GPL许可证。它提供了录制、转换以及流化音视频的完整解决方案。它包含了非常先进的音频/视频编解码库libavcodec,为了保证高可移植性和编解码质量,libavcodec里很多code都是从头开发的。

他的简介就阐述到这里,这里提供ffmpeg 的官网http://ffmpeg.org/,下载版本FFmpeg 4.2.5

2、ffmpeg编译工具下载

编译ffmpeg使用NDK中的编译工具,这个是下载网站https://github.com/android/ndk/wiki/Unsupported-Downloads
下载r22b该版本。

3、ffmpeg编译

对于第一次接触这种开源第三方的人而言,可能会有些措手无策,比如如何编译,如何生成动态库等等,甚至交叉编译是甚可能都没有涉及过,更别说编译出可以在Android上运行的动态库。

如果你对这些概念很模糊,可以花点时间去补充一下Linux下的C/C++编程等。

解压ffmpeg出来后,便如上面的图片所示,其中configure该脚本可以生成我们需要的编译使用到的Makefile,通过Makefile对整个工程进行管理。
可问题是如何知道它有哪些可有配置的参数?

哈哈哈,遇事不决,help来帮忙,可以通过下面指令获取到整个配置的帮助信息。
你会发现会打印出很多的配置信息,我就不一一介绍了,温馨提示:以后相同的开源库,也可以利用类似的方式进行编译。

我将编译的shell脚本贴出来,对于我选择的参数大概解释下,我的shell脚本如下:

#!/bin/bash


NDK_HOME="/home/gale/project/tool/android-ndk-r22b"
SYSROOT="$NDK_HOME/toolchains/llvm/prebuilt/linux-x86_64/sysroot"
SYSINCLUDE="$NDK_HOME/toolchains/llvm/prebuilt/linux-x86_64/sysroot/usr/include"
TOOLCHAINS="$NDK_HOME//toolchains/llvm/prebuilt/linux-x86_64/bin"



rm -rf ./android

function build_android()

    echo "开始编译$ARCH........................"
    ./configure   \\
    --prefix=$PREFIX \\
    --enable-static \\
    --enable-shared  \\
    --enable-small \\
    --disable-ffplay \\
    --disable-ffprobe \\
    --disable-avdevice \\
    --enable-jni \\
    --enable-mediacodec \\
    --enable-decoder=h264_mediacodec \\
    --enable-hwaccel=h264_mediacodec \\
    --arch=$ARCH \\
    --target-os=android \\
    --enable-cross-compile \\
    --cross-prefix=$CROSS_PREFIX \\
    --sysroot=$SYSROOT \\
    --sysinclude=$SYSINCLUDE \\
    --cc=$TOOLCHAINS_CC \\
    --cxx=$TOOLCHAINS_CXX

    make clean
    make -j4
    make install

    echo "结束编译$ARCH........................"


CROSS_PREFIX="$TOOLCHAINS/arm-linux-androideabi-" 
TOOLCHAINS_CC="$TOOLCHAINS/armv7a-linux-androideabi21-clang"
TOOLCHAINS_CXX="$TOOLCHAINS/armv7a-linux-androideabi21-clang++"
ARCH=arm
PREFIX="./android/$ARCH"

build_android


###############################################################

CROSS_PREFIX="$TOOLCHAINS/aarch64-linux-android-" 
TOOLCHAINS_CC="$TOOLCHAINS/aarch64-linux-android21-clang"
TOOLCHAINS_CXX="$TOOLCHAINS/aarch64-linux-android21-clang++"
ARCH=aarch64
PREFIX="./android/$ARCH"

build_android

然后直接运行脚本即可在当前文件夹下的android目录下生成对应的库文件。

4、ffmpeg编译部分选项说明

上面的只需要关注两个东西,分别是NDK_HOMEfunction build_android(),其中NDK_HOME就是你下载好的NDK编译工具,放在Linux中的哪个文件夹,这部分因人电脑而异。

function build_android()则是真正的ffmpeg的编译选项,里面的每个选项都可以在help里面查看,又不理解的可以自行百度,但是对于几个参数还是挑出来说明一下。

上面的编译脚本分别编译32位系统和64位系统的动态库和静态库。

    --arch=$ARCH \\
    --target-os=android \\

这两个选项主要是描述对应的系统位数和系统,一定要选择对,千万别选择os是Linux,因为会出现一些编译问题,导致后面无法编译通过。

    --cross-prefix=$CROSS_PREFIX \\
    --sysroot=$SYSROOT \\
    --sysinclude=$SYSINCLUDE \\
    --cc=$TOOLCHAINS_CC \\
    --cxx=$TOOLCHAINS_CXX

而这一部分则是关于编译器的设置,因为我们的手机运行的android架构一般都是ARM的,不是X86的,因此需要通过交叉编译的方式在X86的主机上,编译出ARM的运行库,这种方式也就是所谓的交叉编译。
这里特别注意,因为android的编译器随着版本的迭代,目前是推荐使用clang来进行编译,因此要专门指定clang和clang++,否则会无法找到对应的编译器。

休息一下、不迷路~~

上面使用到的资料,可以关注我下面的公众号 『音视频开发修炼之路』 ,回复资料,便可以根据标题进行下载,感谢你的关注,如果有什么疑惑的可以在公众号上留言。

以上是关于Android FFmpeg开发,FFmpeg编译与集成的主要内容,如果未能解决你的问题,请参考以下文章

Mac 平台 Android FFmpeg 编译与集成实践

Mac 平台 Android FFmpeg 编译与集成实践

Mac中编译FFmpeg教程(Android版)

如何用Android NDK编译FFmpeg

Android 音视频FFmpeg5.1.1编译

. Android ffmpeg 播放器之编译ffmpeg-01