iOS 视频硬解码

Posted 2023-04-06

参考技术A 公司的项目里有拉取H.264视频流进行解码播放的功能，本来是采用FFMpeg多媒体库，用CPU做视频的编码和解码，就是大家常说的软编软解。但是软解存在太占用CPU,解码效率低等缺点，所以我们一合计干脆用硬解码代替原来的方案。当然硬件解码使用的当然就是苹果大名鼎鼎的 Video ToolBox 框架，众所周知，苹果在ios8开始才可以在iOS系统中调用该框架中的 API 。

图2.1展示的是通过 AVSampleBufferDisplaylayer 播放网络上获取的H.264码流。

但并不是说 AVSampleBufferDisplaylayer 能直接播放H.264码流，需要将H.264码流包装成 SampleBuffer 传给给 AVSampleBufferDisplaylayer 解码播放。

再来看一下H.264码流的构成，H.264码流由一系列的 NAL 单元组成。
NAL 单元一般包含：

所以如果要将H.264解码播放就需要将H.264码流包装成CMSampleBuffer。由图1.1可得 CMSampleBuffer = CMTime + CMVideoFormatDesc + CMBlockBuffer 。
解码步骤：
1.从网络获取的码流中获取SPS和PPS生成CMVideoFormatDesc。

（1）H.264 NALU 单元的 Start Code 是"0x 00 00 01" 或"0x 00 01"，按照 Start Code 定位NALU。
（2）通过类型信息找到 SPS 和 PPS 并提取，开始码后第一个 byte 的第5位，7代表 SPS ，8代表 PPS 。

（3)使用CMVideoFormatDescriptionCreateFromH264ParameterSets函数来构建CMVideoFormatDescription。

2.提取视频图像数据生成CMBlockBuffer。
(1)按照 Start Code 定位NALU。
(2)CMBlockBuffer数据需要的头部码为4个字节的长度，为：0x 00 80 00,所以需要将H.264的header给替换掉。

(3) CMBlockBufferCreateWithMemoryBlock 接口构造 CMBlockBufferRef 。

3.根据自己的需要设置CMTime
我的项目中的拉取的实时流需要实时播放，不需要设置时间间隔，所以不用设置CMTime。

4.根据上述得到 CMVideoFormatDescriptionRef 、 CMBlockBufferRef 和可选的时间信息，使用 CMSampleBufferCreate 接口得到 CMSampleBuffer 数据这个待解码的原始的数据。

5.用 AVSampleBufferDisplayLayer 处理得到 sampleBuffer 来显示图像。

至此成功用 Video Toolbox 硬件解码H.264码流，并在设备上播放视频。
可是，如果我们要拿到每一帧图像进行处理呢，那该怎么得到？
那么我们还需要用 VTDecompressionSession 解码成 CVPixelBuffer ,通过 UIImageView 或者 OpenGL ES 上显示。
(1)创建 VTDecompressionSession ，需要以下参数：

(2)调用 VTDecompresSessionDecodeFrame 接口进行解码。

(3)VTDecompressionSessionOutputCallback回调函数中可以得到解码后的结果 CVPixelBuffer ，可以将 CVPixelBuffer 转换成UIImage图像显示在ImageView上或者用 OpenGL ES 渲染图像。

iOS8系统H264视频硬件编解码说明

公司项目原因，接触了一下视频流H264的编解码知识，之前项目使用的是FFMpeg多媒体库，利用CPU做视频的编码和解码，俗称为软编软解。该方法比较通用，但是占用CPU资源，编解码效率不高。一般系统都会提供GPU或者专用处理器来对视频流进行编解码，也就是硬件编码和解码，简称为硬编解码。苹果在iOS 8.0系统之前，没有开放系统的硬件编码解码功能，不过Mac OS系统一直有，被称为Video ToolBox的框架来处理硬件的编码和解码，终于在iOS 8.0后，苹果将该框架引入iOS系统。

由此，开发者便可以在iOS里面，调用Video Toolbox框架提供的接口，来对视频进行硬件编解码的工作，为VOIP视频通话，视频流播放等应用的视频编解码提供了便利。

（PS：按照苹果WWDC2014 513《direct access to media encoding and decoding》的描述，苹果之前提供的AVFoundation框架也使用硬件对视频进行硬编码和解码，但是编码后直接写入文件，解码后直接显示。Video Toolbox框架可以得到编码后的帧结构，也可以得到解码后的原始图像，因此具有更大的灵活性做一些视频图像处理。）

一，VideoToolbox基本数据结构。

Video Toolbox视频编解码前后需要应用的数据结构进行说明。

（1）CVPixelBuffer：编码前和解码后的图像数据结构。

（2）CMTime、CMClock和CMTimebase：时间戳相关。时间以64-bit/32-bit的形式出现。

（3）CMBlockBuffer：编码后，结果图像的数据结构。

（4）CMVideoFormatDescription：图像存储方式，编解码器等格式描述。

（5）CMSampleBuffer：存放编解码前后的视频图像的容器数据结构。

 

 

图1.1视频H264编解码前后数据结构示意图

如图1.1所示，编解码前后的视频图像均封装在CMSampleBuffer中，如果是编码后的图像，以CMBlockBuffe方式存储；解码后的图像，以CVPixelBuffer存储。CMSampleBuffer里面还有另外的时间信息CMTime和视频描述信息CMVideoFormatDesc。

二，硬解码使用方法。

通过如图2.1所示的一个典型应用，来说明如何使用硬件解码接口。该应用场景是从网络处传来H264编码后的视频码流，最后显示在手机屏幕上。

 

 

图2.1 H264典型应用场景

1，将H264码流转换成解码前的CMSampleBuffer。

由图1.1所示，解码前的CMSampleBuffer = CMTime + FormatDesc + CMBlockBuffer。需要从H264的码流里面提取出以上的三个信息。最后组合成CMSampleBuffer，提供给硬解码接口来进行解码工作。

H264的码流由NALU单元组成，NALU单元包含视频图像数据和H264的参数信息。其中视频图像数据就是CMBlockBuffer，而H264的参数信息则可以组合成FormatDesc。具体来说参数信息包含SPS（Sequence Parameter Set）和PPS（Picture Parameter Set）。图2.2显示一个H264码流的结构。

 

 

图2.2 H264码流结构

（1）提取sps和pps生成format description。

a，每个NALU的开始码是0x00 00 01，按照开始码定位NALU。

b，通过类型信息找到sps和pps并提取，开始码后第一个byte的后5位，7代表sps，8代表pps。

c，CMVideoFormatDescriptionCreateFromH264ParameterSets函数来构建CMVideoFormatDescriptionRef。具体代码可以见demo。

（2）提取视频图像数据生成CMBlockBuffer。

a，通过开始码，定位到NALU。

b，确定类型为数据后，将开始码替换成NALU的长度信息（4 Bytes）。

c，CMBlockBufferCreateWithMemoryBlock接口构造CMBlockBufferRef。具体代码可以见demo。

（3）根据需要，生成CMTime信息。（实际测试时，加入time信息后，有不稳定的图像，不加入time信息反而没有，需要进一步研究，这里建议不加入time信息）

根据上述得到CMVideoFormatDescriptionRef、CMBlockBufferRef和可选的时间信息，使用CMSampleBufferCreate接口得到CMSampleBuffer数据这个待解码的原始的数据。见图2.3的H264数据转换示意图。

 

 

图2.3 H264码流转换CMSampleBuffer示意图

2，硬件解码图像显示。

硬件解码显示的方式有两种：

（1）通过系统提供的AVSampleBufferDisplayLayer来解码并显示。

AVSampleBufferDisplayLayer是苹果提供的一个专门显示编码后的H264数据的显示层，它是CALayer的子类，因此使用方式和其它CALayer类似。该层内置了硬件解码功能，将原始的CMSampleBuffer解码后的图像直接显示在屏幕上面，非常的简单方便。图2.4显示了这一解码过程。

 

 

图2.4 AVSampleBufferDisplayLayer硬解压后显示图像

显示的接口为[_avslayer enqueueSampleBuffer:sampleBuffer];

（2）通过VTDecompression接口来，将CMSampleBuffer解码成图像，将图像通过UIImageView或者OpenGL上显示。

a，初始化VTDecompressionSession，设置解码器的相关信息。初始化信息需要CMSampleBuffer里面的FormatDescription，以及设置解码后图像的存储方式。demo里面设置的CGBitmap模式，使用RGB方式存放。编码后的图像经过解码后，会调用一个回调函数，将解码后的图像交个这个回调函数来进一步处理。我们就在这个回调里面，将解码后的图像发给control来显示，初始化的时候要将回调指针作为参数传给create接口函数。最后使用create接口对session来进行初始化。

b，a中所述的回调函数可以完成CGBitmap图像转换成UIImage图像的处理，将图像通过队列发送到Control来进行显示处理。

c，调用VTDecompresSessionDecodeFrame接口进行解码操作。解码后的图像会交由a，b步骤设置的回调函数，来进一步的处理。

图2.5显示来硬解码的过程步骤。

 

 

图2.5 VTDecompression硬解码过程示意图

三，硬编码使用方法。

硬编码的使用也通过一个典型的应用场景来描述。首先，通过摄像头来采集图像，然后将采集到的图像，通过硬编码的方式进行编码，最后编码后的数据将其组合成H264的码流通过网络传播。

1，摄像头采集数据。

摄像头采集，iOS系统提供了AVCaptureSession来采集摄像头的图像数据。设定好session的采集解析度。再设定好input和output即可。output设定的时候，需要设置delegate和输出队列。在delegate方法，处理采集好的图像。

注意，需要说明的是，图像输出的格式，是未编码的CMSampleBuffer形式。

2，使用VTCompressionSession进行硬编码。

（1）初始化VTCompressionSession。

VTCompressionSession初始化的时候，一般需要给出width宽，height长，编码器类型kCMVideoCodecType_H264等。然后通过调用VTSessionSetProperty接口设置帧率等属性，demo里面提供了一些设置参考，测试的时候发现几乎没有什么影响，可能需要进一步调试。最后需要设定一个回调函数，这个回调是视频图像编码成功后调用。全部准备好后，使用VTCompressionSessionCreate创建session。

（2）提取摄像头采集的原始图像数据给VTCompressionSession来硬编码。

摄像头采集后的图像是未编码的CMSampleBuffer形式，利用给定的接口函数CMSampleBufferGetImageBuffer从中提取出CVPixelBufferRef，使用硬编码接口VTCompressionSessionEncodeFrame来对该帧进行硬编码，编码成功后，会自动调用session初始化时设置的回调函数。

（3）利用回调函数，将因编码成功的CMSampleBuffer转换成H264码流，通过网络传播。

基本上是硬解码的一个逆过程。解析出参数集SPS和PPS，加上开始码后组装成NALU。提取出视频数据，将长度码转换成开始码，组长成NALU。将NALU发送出去。

图2.6显示了整个硬编码的处理逻辑。

 

 

图2.6硬编码处理流程示意图

四，硬编解码的一些编码说明。

由于Video Toolbox是基础的core Foundation库函数，C语言写成，和使用core Foundation所有的其它功能一样需要适应，记得Github有个同志，将其改成了OC语言能方便调用的模式，但是地址忘了，以后有缘找到，就会提供下链接。

 

如何在iOS平台上实现视频硬解码？

在iOS平台上做视频的解码，一般有三种方案：

1、软解码方案：ffmpeg

缺点：消耗CPU太大，在iphone4s上一般720P 20帧以上就解不动了

2、硬解码方案1：采用私有接口VideoToolBox

优点：CPU消耗极低，解码效率极高

缺点：要使用私有接口VideoToolBox，iOS设备必须越狱

3、硬解码方案2：采用AVPlayer＋httpserver＋HttpLiveStream的组合方案

优点：CPU消耗极低，解码效率极高

缺点：视频有延迟，不适合实时视频通讯

 

这里给出硬解码方案2的流程图:

 

该方案本人已源代码实现，并验证了稳定性，在iphone5上720P 25帧CPU占用率3%；

具体实现源代码暂时不开源，若需要，可联系我，QQ：349260360  Email：[email protected]

 

纠错：采用AVPlayer，ts流分片在切换的时候会闪屏，要实现ts流切片的无缝对接，必须采用AVQueuePlayer，这个具体方案还需完善。。。

 

简书：

在iOS中，摄像头录制的视频是mov格式的，虽然mov兼容mp4，但是有些需求需要用到mp4格式的视频文件。在翻边了stackoverflow之后找到了一段转换视频格式的代码。以此记录一下。

AVURLAsset *avAsset = [AVURLAsset URLAssetWithURL:[NSURL fileURLWithPath:path] options:nil];
NSArray *compatiblePresets = [AVAssetExportSession exportPresetsCompatibleWithAsset:avAsset];

if ([compatiblePresets containsObject:AVAssetExportPresetLowQuality])

{

AVAssetExportSession *exportSession = [[AVAssetExportSession alloc]initWithAsset:avAsset presetName:AVAssetExportPresetPassthrough];
    NSString *exportPath = [NSString stringWithFormat:@"%@/%@.mp4",
                            [NSHomeDirectory() stringByAppendingString:@"/tmp"],
                            @"1"];
    exportSession.outputURL = [NSURL fileURLWithPath:exportPath];
    NSLog(@"%@", exportPath);
    exportSession.outputFileType = AVFileTypeMPEG4;
    [exportSession exportAsynchronouslyWithCompletionHandler:^{

        switch ([exportSession status]) {
            case AVAssetExportSessionStatusFailed:
                NSLog(@"Export failed: %@", [[exportSession error] localizedDescription]);
                break;
            case AVAssetExportSessionStatusCancelled:
                NSLog(@"Export canceled");
                break;
                case AVAssetExportSessionStatusCompleted:
                NSLog(@"转换成功");
                break;
            default:
                break;
        }
    }];
}