全志Tina_dolphin播放音视频裸流（h264,pcm）验证

Posted 2021-11-30 tid-think

最近在验证tina对裸流音视频的支持，主要指h264视频裸流及pcm音频裸流。

在原始sdk中有针对很多video和audio类型的parser，但就是没有找到pcm和h264的parser，所以需要自己搞个parser，同时找到audio播放的的接口写个demo来验证。

所有支持解析类型的parser方法都在目录：/Homlet-Tina-H2_H3/package/allwinner/tina_multimedia/libcedarx/libcore/parser下

aac   android.mk  atrac        AwSpecialStream  bd         dash  flac  hls    include      mkv      mov  ogg       pmp    ts
aiff  ape         avi          awts             caf        dsd   flv   id3    m3u9         mms      mp3  playlist  remux  wav
amr   asf         AwRawStream  base             config.mk  env   g729  id3v2  Makefile.am  mmshttp  mpg  pls       sstr   wvm

里面有个AwRawStream文件夹，看了里面的代码是对H264以及H265裸流的解析支持，但是代码架构中对此parser的调用支持在CdxParser.c用宏屏蔽掉了，包括AwSpecialStream。

 

/*
 * Copyright (c) 2008-2016 Allwinner Technology Co. Ltd.
 * All rights reserved.
 *
 * File : CdxParser.c
 * Description : Parser base
 * History :
 *
 */

#include <CdxParser.h>

#include <cdx_log.h>
#include <CdxMemory.h>
#include <CdxList.h>

#include <CdxStream.h>
#include <dlfcn.h>

/*************** for debug start ***********************/
#define ENABLE_RAW_STREAM_PARSER 0
#define ENABLE_SPECIAL_PARSER 0
/*************** for debug end *************************/

打开ENABLE_RAW_STREAM_PARSER重新编译打包跑了一下还是不行，调用parserPrefetch的时候直接卡住了，跟了一下代码貌似调用CdxStremRead的时候被阻塞住了。果然是废物，估计全志自己人也还没完整的打通AwRawStream的功能，所以释放sdk的时候直接屏蔽不调用。
只能靠自己来实现裸流的的parser了。
首先验证PCM裸流。
pcm裸流文件没有文件头信息，所以一些参数无法从裸流文件中获取，需要人为设置，不像wav或者MP3这种经过打包的音频文件，文件头信息中已经包含了需要的信息。
要播放音频至少需要以下几个信息：

1、采样频率（Sampling Rate）：单位时间内采集的样本数，即：采样周期的倒数，指两个采样之间的时间间隔。采样频率越高，声音质量越好，但同时占用的带宽越大。一般情况下，22KHz相当于普通FM的音质，44KHz相当于CD音质，目前的常用采样频率都不超过48KHz。
2、采样位数：表示一个样本的二进制位数，即：每个采样点用多少比特表示。计算机中音频的量化深度一般为4、8、16、32位（bit）等。例如：采样位数为8 bit时，每个采样点可以表示256个不同的采样值，而采样位数为16 bit时，每个采样点可以表示65536个不同的采样值。采样位数的大小影响声音的质量，采样位数越多，量化后的波形越接近原始波形，声音的质量越高，而需要的存储空间也越多；位数越少，声音的质量越低，需要的存储空间越少。一般情况下，CD音质的采样位数是16 bit，移动通信是8 bit。
3、声道数：记录声音时，如果每次生成一个声波数据，称为单声道；每次生成两个声波数据，称为双声道（立体声）。单声道的声音只能使用一个喇叭发声，双声道的PCM可以使两个喇叭同时发声（一般左右声道有分工），更能感受到空间效果。
4、时长：持续采样时间，可以设置的范围较大，可以使用20ms，也可以使用200ms，一般来说时间越短时延越小。

一帧PCM元数据的大小 

Size（Byte) = 采样频率（Hz）× 采样时长（S）×（采样位数 / 8）× 声道数（单声道为1，立体声为2）

首先实现一个读取pcm文件流的parser 

rawPcmParser.c主要负责一帧一阵的读取pcm文件流。

#define LOG_TAG         "rawParser"
#include                <rawPcmParser.h>

static CdxPlaybkCfg initPlybkCfg =
{
    .nRoutine = 0,
    .nNeedDirect = 0,
    .nChannels = 2,
    .nSamplerate = 44100,
    .nBitpersample = 16,
    .nDataType = AUDIO_RAW_DATA_PCM,
};

/*
 * user call this first
 * input: file and rawPcmParserT
 *
 * */
int RawPcmParserInit(rawPcmParserT *p, const char *file)
{
    if(NULL == p || NULL == file) {
        loge("parmer wrong p:%p, file:%p", p, file);
        return -1;
    }
    p->pcmFp = fopen(file, "rb");
    if(NULL == p->pcmFp) {
        loge("open %s failed %s",file, strerror(errno));
        return -2;
    }
    p->mBuffer = malloc(MAX_BUFFER_SIZE);
    if(NULL == p->mBuffer) {
        return -3;
    }

    fseek(p->pcmFp, 0, SEEK_END);
    p->fileSize = ftell(p->pcmFp);
    fseek(p->pcmFp, 0, SEEK_SET);
    p->mSampleInterval = SAMPLE_INTERVAL;

    p->status = RAW_PCM_IDLE;
    /*init cfg*/
    p->mPlaybkcfg = initPlybkCfg;
    p->mUnitSize = (p->mPlaybkcfg.nSamplerate *
                   (p->mPlaybkcfg.nBitpersample >> 3) *
                   p->mPlaybkcfg.nChannels *
                   p->mSampleInterval / 1000);
    loge("file:%s size:%lld ch:%d rate:%d bit:%d type:%d, unitSize:%d",
            file,p->fileSize, p->mPlaybkcfg.nChannels,
            p->mPlaybkcfg.nSamplerate,
            p->mPlaybkcfg.nBitpersample,
            p->mPlaybkcfg.nDataType,
            p->mUnitSize);
    return 0;
}

/*
 * get media info
 *
 *
 */
int RawPcmParserGetCfg(rawPcmParserT *p, CdxPlaybkCfg *pCfg)
{
    if(NULL == p || NULL == pCfg) {
        loge("parmer wrong p:%p pCfg:%p", p, pCfg);
        return -1;
    }

    if(p->status == RAW_PCM_UNKNOWN) {
        loge("status unknown");
        return -2;
    }

    /*set cfg*/
    *pCfg = p->mPlaybkcfg;
    return 0;
}

/*
 * prefet data
 * return data len
 *
 */

int RawPcmParserPrefetch(rawPcmParserT *p)
{
    if(NULL == p || NULL == p->mBuffer) {
        loge("parmer wrong p:%p", p);
        return -1;
    }

    if(p->status != RAW_PCM_IDLE) {
        loge("status not idel");
        return -2;
    }
    p->status = RAW_PCM_PREFETCHING;
    int len = fread(p->mBuffer, 1, p->mUnitSize, p->pcmFp);
    //if (len != p->mUnitSize) {
    if (len <= 0) {
        loge("read ret:(%d)%s",len, strerror(errno));
        return -1;
    }
    p->status = RAW_PCM_PREFETCHED;
    return len;
}

/*get pcm data*/
unsigned char* RawPcmParserRead(rawPcmParserT *p)
{
    if(NULL == p) {
        loge("parmer wrong p:%p", p);
        return NULL;
    }
    if(p->status != RAW_PCM_PREFETCHED) {
        loge("have not prefetched");
        return NULL;
    }
    p->status = RAW_PCM_IDLE;

    return p->mBuffer;
}


/*
 * must call this when exit
 * close file fp
 *
 */
int RawPcmParserDestroy(rawPcmParserT *p)
{
    if( p ) {
        if ( p->pcmFp) {
            fclose(p->pcmFp);
        }
        if(p->mBuffer)
            free(p->mBuffer);
        p->status = RAW_PCM_UNKNOWN;
        return 0;
    }
    return -1;
}

然后参照xplayerdemo，调用tinasoundcontrol的接口来播放，主要用到三个函数

在tinasoundcontrol.h中，

SoundCtrl* TinaSoundDeviceInit();

void TinaSoundDeviceSetFormat(SoundCtrl* s,CdxPlaybkCfg* cfg);

int TinaSoundDeviceWrite(SoundCtrl* s, void* pData, int nDataSize);

void TinaSoundDeviceDestroy(SoundCtrl* s);

第一步

创建一个SoundCtrl，

第二步

设置参数pcm参数

第三步

循环读取pcm并write到sound dev

第四步

销毁SoundCtrl

 参照sdk中的libcedarx/libcedarx/demo/目录下的demo例程序，新建一个demoPcmPlayer目录存放自己demo代码。

还需要修改libcedarx/configure.as及demo/Makefile.am把自己的目录加入，使其自动编译。

player核心代码如下。

/*
 *
 * File : demoPcmPlayer.c
 * Description :demoPcmPlayer
 * History :
 *
 */
#define LOG_TAG "demoPcmPlayer"
#include <stdlib.h>
#include <string.h>
#include <stdio.h>
#include <pthread.h>
#include <sys/time.h>
#include "cdx_config.h"
#include <cdx_log.h>
#include <CdxParser.h>

/********************/
#include <tinasoundcontrol.h>
#include <rawPcmParser.h>
/*******************/

/*pcm audio player run*/
void *audioThread(void* param)
{
    PcmPlayerDemo *pPlayer = (PcmPlayerDemo *)param;
    rawPcmParserT *parser = &(pPlayer->mRawPcmParser);
    CdxPlaybkCfg *pCfg = &(pPlayer->mPlaybkCfg);

    int nRet = 0;
    pPlayer->mPlayFrame=0;

    /*****************************************************************/
    /*init parser*/
    if(RawPcmParserInit(parser, (const char*)pPlayer->pInputFile) < 0) {
        loge("init raw pcm parser failed");
        return NULL;
    }
    RawPcmParserGetCfg(parser, pCfg);

    /*init soundCtrl*/
    pPlayer->pSoundCtrl = TinaSoundDeviceInit();
    if(NULL == pPlayer->pSoundCtrl) {
        loge("init sound dev failed");
        goto audio_exit;
    }

    TinaSoundDeviceSetFormat(pPlayer->pSoundCtrl, pCfg);
    if(TinaSoundDeviceStart(pPlayer->pSoundCtrl) < 0) {
        loge("start sound dev failed");
        goto audio_exit;
    }

    /****************************************************************/
    loge("start run!");
    while ( (nRet = RawPcmParserPrefetch(parser)) > 0)
    {
        usleep(100);

        unsigned char *pcmData = RawPcmParserRead(parser);
        if(NULL == pcmData) {
            loge("read pcm data error ");
            goto audio_exit;
        }
        /*send pcm data to sound dev*/
        if(TinaSoundDeviceWrite(pPlayer->pSoundCtrl, (void*)pcmData, nRet) <= 0) {
            loge("write pcm data error ");
            goto audio_exit;
        }
    }
    logw("get pcm end");

audio_exit:
    /***************/
    if(pPlayer->pSoundCtrl) {
        loge("destroy sound dev and rawpcm parser");
        TinaSoundDeviceStop(pPlayer->pSoundCtrl);
        TinaSoundDeviceDestroy(pPlayer->pSoundCtrl);
    }
    RawPcmParserDestroy(parser);
    /*************/
    logw("exit..... ");
    return NULL;
}

在TinaH3的板子上验证可以播放pcm文件。

完整的demo放在https://github.com/voidSem/AwTinaH3demoPcmPlayer上