请教Android平台的RTSP协议和音视频解码器

Posted 2023-03-30

接调用Mediaplayer就可以了，底层使用OPENCORE或者STAGEFRIGHT实现的 参考技术A 1.首先rtsp是实时流传输协议，是TCP/IP协议体系中的一个应用层协议，由哥伦比亚大学、网景和RealNetworks公司提交的IETFRFC标准。该协议定义了一对多应用程序如何有效地通过IP网络传送多媒体数据。RTSP在体系结构上位于RTP和RTCP之上，它使用TCP或RTP完成数据传输。HTTP与RTSP相比，HTTP传送html，而RTSP传送的是多媒体数据。HTTP请求由客户机发出，服务器作出响应；使用RTSP时，客户机和服务器都可以发出请求，即RTSP可以是双向的。更详细的RTSP描述请参考/view/70534.htm所以RTSP主要用于internel，对传输的多媒体数据进行控制2.TS流：这个是MPEG国际组织规定的音视频封装的标准，机顶盒接收的都是这种格式的数据。DVB-T、DVB-S、DVB-C（地面机顶盒、卫星机顶盒、有线机顶盒）解析的都是TS流数据

RTSP播放器网页web无插件直播流媒体音视频播放器EasyPlayer-RTSP-Android解码获取视频帧的方法

应用场景

EasyPlayer-RTSP在多年与VLC的对标过程中，积累了广泛的应用场景，EasyPlayer-RTSP底层与上层全部自主开发，自主知识产权，可实战测试。

EasyPlayer-RTSP播放器

EasyPlayer-RTSP播放器是一套RTSP专用的播放器，包括有：Windows（支持IE插件，npapi插件）、Android、iOS三个平台，是由青犀TSINGSEE开放平台开发和维护的区别于市面上大部分的通用播放器，EasyPlayer-RTSP系列从2014年初发展至今得到了各行各业(尤其是安防行业)的广泛应用，其主要原因是EasyPlayer-RTSP更加精炼、更加专注，具备非常低的延时，非常高RTSP协议兼容性，编码数据解析等方面，都有非常大的优势。

EasyPlayer-RTSP-Android解码获取视频帧

提出问题

EasyPlayer-RTSP-Android如何获取解码后的视频帧？

分析问题

有的客户需要拿到解码后的视频帧，用来实现人脸识别。

解决问题

视频播放的实现在PlayFragment.java中，其中有一个子类YUVExportFragment.java，实现了接口EasyPlayerClient.I420DataCallback，在onI420Data方法中可以拿到解码后的视频帧：

深入阅读代码，会发现在EasyPlayerClient.java中，硬解码和软解码的方式，都将解码后的视频帧传入onI420Data了：

ByteBuffer buf = mDecoder.decodeFrameYUV(frameInfo, size);
if (i420callback != null && buf != null)
    i420callback.onI420Data(buf);
if (buf != null)
    mDecoder.releaseBuffer(buf);

ByteBuffer outputBuffer;
if (Build.VERSION.SDK_INT >= Build.VERSION_CODES.LOLLIPOP) {
    outputBuffer = mCodec.getOutputBuffer(index);
} else {
    outputBuffer = mCodec.getOutputBuffers()[index];
}
if (i420callback != null && outputBuffer != null) {
    if (sliceHeight != realHeight) {
        ByteBuffer tmp = ByteBuffer.allocateDirect(realWidth*realHeight*3/2);
        outputBuffer.clear();
        outputBuffer.limit(realWidth*realHeight);
        tmp.put(outputBuffer);

        outputBuffer.clear();
        outputBuffer.position(realWidth * sliceHeight);
        outputBuffer.limit((realWidth * sliceHeight + realWidth*realHeight /4));
        tmp.put(outputBuffer);

        outputBuffer.clear();
        outputBuffer.position(realWidth * sliceHeight + realWidth*realHeight/4);
        outputBuffer.limit((realWidth * sliceHeight + realWidth*realHeight/4 + realWidth*realHeight /4));
        tmp.put(outputBuffer);

        tmp.clear();
        outputBuffer = tmp;
    }

if (mColorFormat == COLOR_FormatYUV420SemiPlanar 
        || mColorFormat == COLOR_FormatYUV420PackedSemiPlanar
        || mColorFormat == COLOR_TI_FormatYUV420PackedSemiPlanar) {
        JNIUtil.yuvConvert2(outputBuffer, realWidth, realHeight, 4);
}
i420callback.onI420Data(outputBuffer);
}