Android音视频H264硬编码

Posted 2022-12-04 顾修忠

人间观察
你什么时候觉得自己好孤独

这篇我们介绍如何在android中实现硬编码为H264，用camera或者其它数据来源也行，我们先不用camera，camera还是蛮复杂的（比如前后置摄像头预览，yuv数据转换，camera2等等）。本篇采用录屏（录制手机屏幕）然后编码h264到文件。
如果你看了上篇文章了解了硬编码和h264，这篇就很简单了。

代码用kotlin实现，学kotlin中，练练手。。。

录屏

Android中的录屏功能是在Android 5.0 API 21 上新增的，不需要root，但需要授权。一般直播的APP都会有这个功能，实现方案就是这个。

方案：
视频来自屏幕，音频来自麦克风或者播放器（如果只需要播放器的声音的话），然后视频编码为h264，音频编码为aac，交给混合器MediaMuxer将音频数据和视频数据分别写入同一个文件中的音频轨道和视频轨道合成为mp4,然后把mp4文件上传到服务器。

在APP中录屏是一种很危险的操作，必须很强制的提醒用户，所以系统进行了弹窗授权。

录屏请求授权

录屏主要用到的API是MediaProjectionManager和MediaProjection。MediaProjectionManager和其它系统服务一样，比如AlarmManager，ConnectivityManager等，通过getSystemService方法获取。

private lateinit var mediaProjectionManager: MediaProjectionManager
   

mediaProjectionManager =
            getSystemService(Context.MEDIA_PROJECTION_SERVICE) as MediaProjectionManager
val intent: Intent = mediaProjectionManager.createScreenCaptureIntent()
startActivityForResult(intent, REQUEST_CODE)

请求后，系统会弹个对话框提醒是否允许用户截取屏幕上显示的所有内容。如果允许/拒绝，则回调onActivityResult方法，系统采用这种机制说明录屏只能在Activity中使用。

override fun onActivityResult(requestCode: Int, resultCode: Int, data: Intent?) 
        super.onActivityResult(requestCode, resultCode, data)
        if (resultCode == RESULT_OK && requestCode == REQUEST_CODE) 
            val mediaProjection = mediaProjectionManager.getMediaProjection(resultCode, data!!)
            encodeThread = H264EncodeThread(mediaProjection)
            encodeThread?.startEncode()
        
    

ok，简单的介绍下使用方法即可，我们重点在h264的编码，录屏只是作为我们视频数据的采集方式，所以录屏这个名字应该加屏幕视频数据的采集更贴切。

H264硬编码

我们实现的demo是把录屏采集的画面经过MediaCodec编码后写入到文件中。还是用MediaCodec硬编码，关于MediaCodec的使用可以参考上一篇。

初始化编码器

 init 
        // H264/avc的编码器
        mediaCodec = MediaCodec.createEncoderByType(MediaFormat.MIMETYPE_VIDEO_AVC)
        val mediaFormat =
            MediaFormat.createVideoFormat(MediaFormat.MIMETYPE_VIDEO_AVC, WIDTH, HEIGHT)

        mediaFormat.setInteger(
            MediaFormat.KEY_COLOR_FORMAT,
            MediaCodecInfo.CodecCapabilities.COLOR_FormatSurface
        )
        // 码率
        mediaFormat.setInteger(MediaFormat.KEY_BIT_RATE, WIDTH * HEIGHT)
        // i帧间隔,MediaCodec一般会按照KEY_FRAME_RATE输出
        mediaFormat.setInteger(MediaFormat.KEY_I_FRAME_INTERVAL, 2)
        // 帧率，每25帧后一次关键帧，即使画面不动
        mediaFormat.setInteger(MediaFormat.KEY_FRAME_RATE, 25)

        // 第4个参数需要设置为CONFIGURE_FLAG_ENCODE=1
        mediaCodec.configure(mediaFormat, null, null, MediaCodec.CONFIGURE_FLAG_ENCODE)

        // surface，录屏和编码的进行关联
        val surface = mediaCodec.createInputSurface()
        mediaProjection.createVirtualDisplay(
            "screen-h264", WIDTH, HEIGHT, 2,
            DisplayManager.VIRTUAL_DISPLAY_FLAG_PUBLIC, surface, null, null
        )
    

其中主要的一点就是如何吧屏幕采集的数据和编码器输入进行关联，我们这里是屏幕采集用的是surface。系统的编码器提供了mediaCodec.createInputSurface方法来创建一个surface，然后mediaProjection的

 mediaProjection.createVirtualDisplay(
            "screen-h264", WIDTH, HEIGHT, 2,
            DisplayManager.VIRTUAL_DISPLAY_FLAG_PUBLIC, surface, null, null
        )

进行关联。这样对于上层API调用的时候就简单了，不需要手动的通过mediaCodec的queueInputBuffer来输入数据给编码器了。

1. 我们传入的是surface，这个就有了很好的可操控性，比如可以用opengl来截取屏幕指定区域的地址，或者加贴纸，水印，变色等等操作。后续文章可能会介绍
2. 不需要手动给mediaCodec输入数据了。

编码处理

如上所诉这样编码的代码就很简单了如下：

            while (!isStop) 
                mediaCodec.queueInputBuffer()
                val outIndex = mediaCodec.dequeueOutputBuffer(info, 10_1000)
                if (outIndex >= 0) 
                    // 取出编码后的H264数据
                    val byteBuffer = mediaCodec.getOutputBuffer(outIndex)
                    val data = ByteArray(info.size)
                    byteBuffer?.get(data)

                    check(data)
                    // to file
                    fos.write(data)

                    // 编码。给false 不需要渲染
                    mediaCodec.releaseOutputBuffer(outIndex, false);
                
            

通过mediaCodec.getOutputBuffer(outIndex)采取出编码后的h264数据写入到文件中。同时我们有一个check方法，主要是看一下当前是SPS,PPS,IDR还是非IDR帧。

    private fun check(data: ByteArray) 
        var index = 4  // 00 00 00 01
        if (data[2].toInt() == 0X1)  // 00 00 01
            index = 3
        
        // NALU的数据类型,header 1个字节的后五位
        val naluType = (data[index].and(0x1F)).toInt()
        if (naluType == 7) 
            Log.d(TAG, "SPS")
         else if (naluType == 8) 
            Log.d(TAG, "PPS")
         else if (naluType == 5) 
            Log.d(TAG, "IDR")
         else 
            Log.d(TAG, "非IDR=" + naluType)
        
    

按照h264码流的结构解析，检查视频压缩数据的NAL单元（NAL Unit，NALU），取出NALU的类型进行判断，然后进行了打印。

同时我们把生成的h264文件，16进制的方式打开，截取开头的带SPS,PPS,IDR帧的数据，和我们之前分析的H264码流结构一样。

0000 0001 6742 c01f da02 d028 4400 0000
0168 ca8f 2000 0000 0165 b841 dfff ff04
4245 0001 003f 1c00 0407 2381 be3e 8047
ee36 a6ff e00d 5d26 f9ec 6cc8 d973 dfff
ff82 1580 8666 44f9 95ba 5bff 8f0c 2bc5
952c 51bd 80de 68d2 7e7f fffe 081f 012c
4eec f9bf ffc2 0b89 8030 96cc f002 7538
8045 e9ff ff87 a05a f003 67b2 4383 dfcd
40cd 218c 9edf fff8 7a0e 930e b532 200f
// 省略其它数据...

h264码流的结构分析参考：
Android音视频【二】 H264码流结构

编码器的销毁

最后就是释放操作

isStop = true
mediaProjection.stop()
mediaCodec.stop()
mediaCodec.release()

整体代码参考源码

源码

https://github.com/ta893115871/H264EncodeDemo