Qt-FFmpeg开发-音频解码为PCM文件

Posted mahuifa

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Qt-FFmpeg开发-音频解码为PCM文件相关的知识,希望对你有一定的参考价值。

音视频/FFmpeg #Qt

Qt-FFmpeg开发-使用libavcodec API的音频解码示例(MP3转pcm)

更多精彩内容

android音视频音频硬编解码pcm&aac&wav

人间观察

时间的流逝总是悄无声息的

这篇看下音频的硬编解码(MediaCodec),主要内容包含

  • AudioRecord采集pcm硬编码为aac
  • mp3硬解码为pcm
  • pcm转为wav格式

为什么介绍这些呢? 因为在直播中音频基本上都是aac格式的,在短视频中比如:添加背景音进行混音,替换背景音乐,视频文件提取音频,剪切音频,插入音频等等都会涉及。所以比较重要,当然也有软编码,后续介绍。

因工作中用不到kotlin,示例代码我采用kotlin进行,顺便练习下

AudioRecord采集pcm硬编码为aac

首先是音频的采集,在Android中是用AudioRecord,创建示例为:

audioRecord = AudioRecord(
        MediaRecorder.AudioSource.MIC, SAMPLE_RATE, AudioFormat.CHANNEL_IN_MONO,
        AudioFormat.ENCODING_PCM_16BIT, minBufferSize
    )

函数定义

public AudioRecord(int audioSource, int sampleRateInHz, int channelConfig, int audioFormat,
            int bufferSizeInBytes)
  • audioSource 音频来源,一般是Microphone
  • sampleRateInHz 采样频率,比如16000,44100,具体可以参考上篇
  • channelConfig 声道数,单声道AudioFormat.CHANNEL_IN_MONO(在所有设置上支持),双声道AudioFormat.CHANNEL_IN_STEREO,一般是单声到
  • audioFormat 一个采样点用几位描述,取值有AudioFormat.ENCODING_PCM_16BIT,ENCODING_PCM_8BIT。视情况而定,一般是AudioFormat.ENCODING_PCM_16BIT 2个字节。
  • bufferSizeInBytes 缓存区,需要>=AudioRecord.getMinBufferSize()的大小,否则AudioRecord创建失败。

如何编码为aac呢? 和视频一样用MediaCodec,部分代码如下分为初始化,配置,启动等几个阶段。

//AAC
val format = MediaFormat.createAudioFormat(
    MediaFormat.MIMETYPE_AUDIO_AAC,
    SAMPLE_RATE,
    CHANNEL_COUNT
)
//录音质量
format.setInteger(MediaFormat.KEY_AAC_PROFILE, MediaCodecInfo.CodecProfileLevel.AACObjectLC)
//码率,1s的bit
format.setInteger(MediaFormat.KEY_BIT_RATE, 64_000)

mediaCodec = MediaCodec.createEncoderByType(MediaFormat.MIMETYPE_AUDIO_AAC)
mediaCodec?.configure(format, null, null, MediaCodec.CONFIGURE_FLAG_ENCODE)
mediaCodec?.start()

开始编码

override fun run() 
    super.run()
    audioRecord?.startRecording()
    val bufferInfo = MediaCodec.BufferInfo()
    while (isEncoding) 
        // 1.获取音频
        val buffer = ByteArray(minBufferSize)
        val len: Int? = audioRecord?.read(buffer, 0, buffer.size)
        if (len!! <= 0) 
            continue
        
        // 2.编码
        val index = mediaCodec?.dequeueInputBuffer(10_1000)
        if (index!! >= 0) 
            val inputBuffer = mediaCodec?.getInputBuffer(index)
            inputBuffer!!.clear()
            inputBuffer.put(buffer, 0, len)
            mediaCodec?.queueInputBuffer(index, 0, len, System.nanoTime() / 1000, 0)
        

        // 3.获取编码后的数据进行下一步的处理(比如:推流等)
        var outIndex = mediaCodec?.dequeueOutputBuffer(bufferInfo, 10_000)
        while (outIndex!! >= 0 && isEncoding) 
            mediaCodec?.getOutputBuffer(outIndex)
            val outData = ByteArray(bufferInfo.size)

            // outData 为编码后的aac数据,temp to file
            fileOutputStream.write(outData)

            mediaCodec?.releaseOutputBuffer(outIndex, false)
            outIndex = mediaCodec?.dequeueOutputBuffer(bufferInfo, 0)
        
    
    fileOutputStream.flush()
    fileOutputStream.close()
    Log.d(TAG, "AudioEnCodeThread done")

关于MediaCodec的介绍可以参考Android音视频【三】硬解码播放H264

mp3硬解码为pcm

mp3的解码这里我们也用Android自带的硬解码MediaCodec,也有其它的比如lame,jlayer等开源库。
本示例是解码一个mp3文件,解码流(网络流等)也差不多。
如果要解码mp3文件或者从视频文件中提取音频,要借助MediaExtractor类,选择对应的音频轨道selectTrack,然后不断的提取对应的音频数据readSampleData,把提取的数据交给mediaCodec解码得到pcm数据。

选择对应的音频轨道

mediaExtractor.setDataSource(srcPath)
var index = -1
val count = mediaExtractor.trackCount
for (i in 0 until count) 
    val format = mediaExtractor.getTrackFormat(i)
    if (format.getString(MediaFormat.KEY_MIME)!!.startsWith("audio/")) 
        index = i
    

mediaExtractor.selectTrack(index)

获取完音频轨道的id后再得到音频的配置信息MediaFormat,MediaFormat里有采样率,声道数等,然后进行初始化音频解码器如下:

val format = mediaExtractor.getTrackFormat(index)
val mediaCodec = MediaCodec.createDecoderByType(format.getString(MediaFormat.KEY_MIME)!!)
mediaCodec.configure(format, null, null, 0)
mediaCodec.start()

读取数据并塞给mediaCodec进行解码

val info = MediaCodec.BufferInfo()
while (true) 
    val inputIndex = mediaCodec.dequeueInputBuffer(10 * 1000);
    if (inputIndex >= 0) 
        val sampleTimeUs = mediaExtractor.getSampleTime();
        if (sampleTimeUs == -1L) 
            Log.d(TAG, "break")
            break
        
        info.presentationTimeUs = sampleTimeUs
        info.flags = mediaExtractor.sampleFlags
        info.size = mediaExtractor.readSampleData(buffer, 0)

        val data = ByteArray(buffer.remaining())
        buffer.get(data)

        val inputBuffer = mediaCodec.getInputBuffer(inputIndex)
        inputBuffer!!.clear()
        inputBuffer.put(data)
        mediaCodec.queueInputBuffer(
            inputIndex,
            0,
            info.size,
            info.presentationTimeUs,
            info.flags
        )
        mediaExtractor.advance()
    

    var outputIndex = mediaCodec.dequeueOutputBuffer(info, 10_000)
    while (outputIndex >= 0) 
        val outByteBuffer = mediaCodec.getOutputBuffer(outputIndex)

        // to file
        writePcmChannel.write(outByteBuffer)

        mediaCodec.releaseOutputBuffer(outputIndex, false)
        outputIndex = mediaCodec.dequeueOutputBuffer(info, 0)
    


在进行解码的时候不要丢弃了时间戳和flags。时间戳是为了音视频的同步,虽然在本例中没有用到,但最好还是带上。

pcm转为wav格式

WAV是由微软开发的一种音频格式,WAV文件是在PCM数据的基础上添加一组头信息(大小44个字节),用于描述这个WAV文件的采样率,声道数,采样位数,音频数据大小等信息。这样WAV就可以被一般音频播放器(比如Android的mediaplayer)正确读取并播放,而PCM文件因为只有编码的音频数据,没有其他描述信息,所以无法被一般的音频播放器识别播放。如果想要播放pcm可以用专业的可以播放pcm文件的软件,Android中用Audiotrack进行播放。

WAV文件格式如下,图片来源于网络(https://www.jianshu.com/p/86edb2422b21

可以看到,WAV文件头信息由大小44个字节的数据组成:

private void writeWaveFileHeader(FileOutputStream out, long totalAudioLen,
                                 long totalDataLen, long longSampleRate, int channels, long byteRate)
        throws IOException 
    byte[] header = new byte[44];
    header[0] = 'R'; // RIFF/WAVE header
    header[1] = 'I';
    header[2] = 'F';
    header[3] = 'F';
    // 数据大小
    header[4] = (byte) (totalDataLen & 0xff);
    header[5] = (byte) ((totalDataLen >> 8) & 0xff);
    header[6] = (byte) ((totalDataLen >> 16) & 0xff);
    header[7] = (byte) ((totalDataLen >> 24) & 0xff);
    header[8] = 'W';  //WAVE
    header[9] = 'A';
    header[10] = 'V';
    header[11] = 'E';
    header[12] = 'f'; // 'fmt ' chunk
    header[13] = 'm';
    header[14] = 't';
    header[15] = ' '; //过渡字节
    header[16] = 16;  // 4 bytes
    header[17] = 0;
    header[18] = 0;
    header[19] = 0;
    // 2字节数据,内容为一个短整数,表示格式种类(值为1时,表示数据为线性PCM编码)
    header[20] = 1;   // format = 1
    header[21] = 0;
    header[22] = (byte) channels;  //通道数(单声道为1,双声道为2)
    header[23] = 0;
    //采样率,每个通道的播放速度,用4字节表示 
    header[24] = (byte) (longSampleRate & 0xff);
    header[25] = (byte) ((longSampleRate >> 8) & 0xff);
    header[26] = (byte) ((longSampleRate >> 16) & 0xff);
    header[27] = (byte) ((longSampleRate >> 24) & 0xff);
    //音频数据传送速率,采样率*通道数*采样深度/8
    header[28] = (byte) (byteRate & 0xff);
    header[29] = (byte) ((byteRate >> 8) & 0xff);
    header[30] = (byte) ((byteRate >> 16) & 0xff);
    header[31] = (byte) ((byteRate >> 24) & 0xff);
    // 确定系统一次要处理多少个这样字节的数据,确定缓冲区,通道数*采样位数 用2个字节表示
    header[32] = (byte) (channels * 16 / 8); // block align
    header[33] = 0;
    header[34] = 16;  // bits per sample 每个样本的数据位数
    header[35] = 0;
    header[36] = 'd'; //data
    header[37] = 'a';
    header[38] = 't';
    header[39] = 'a';
    // pcm数据的大小
    header[40] = (byte) (totalAudioLen & 0xff);
    header[41] = (byte) ((totalAudioLen >> 8) & 0xff);
    header[42] = (byte) ((totalAudioLen >> 16) & 0xff);
    header[43] = (byte) ((totalAudioLen >> 24) & 0xff);
    out.write(header, 0, 44);
  

只要按照wav格式的拼接即可。

总结

本文介绍了AudioRecord采集pcm通过MediaCodec硬编码为aac数据。
如何把音频mp3文件解码为PCM数据,以及如何把PCM编码为WAV,有了这些基础后,然后进行音频文件的裁剪,插入,合成,混音等编辑操作和对应的处理原理就比较容易处理了。任何音频的操作都是对pcm数据进行处理。

源码

https://github.com/ta893115871/AudioAACAndMP3

以上是关于Qt-FFmpeg开发-音频解码为PCM文件的主要内容,如果未能解决你的问题,请参考以下文章

使用 (Python) Gstreamer 解码音频(到 PCM 数据)

Qt-FFmpeg开发-视频播放

将音频转换为 8 位签名 PCM

ffmpeg 获取音频文件PCM切片

android音视频音频硬编解码pcm&aac&wav

android音视频音频硬编解码pcm&aac&wav

(c)2006-2024 SYSTEM All Rights Reserved IT常识