AVFoundation视频流处理

Posted 小敏的博客

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了AVFoundation视频流处理相关的知识,希望对你有一定的参考价值。

框架

首先我们从整体对所需框架做个初步了解。

AVFoundation在相关框架栈中的的位置:

 

为了捕捉视频,我们需要这样几种类(与其它的子类)。

 

  • AVCaptureDevice 代表了输入设备,例如摄像头与麦克风。

  • AVCaptureInput 代表了输入数据源

  • AVCaptureOutput 代表了输出数据源

  • AVCaptureSession 用于协调输入与输出之间的数据流

并且还有AVCaptureVideoPreviewLayer提供摄像头的预览功能

可以用这样一幅图来概述: 

 

例子

 

实际应用AVFoundation来捕捉视频流并不复杂。

 

Talk is Cheap,Show me the Code.

 

我们用代码简单地描述用AVFoundation捕捉视频的过程,其他捕捉音频,静态图像的过程也是大同小异的。

 

1.创建AVCaputureSession。

 

作为协调输入与输出的中心,我们第一步需要创建一个Session

 

AVCaptureSession *session = [[AVCaptureSession alloc] init];

 

2.创建AVCaptureDevice

 

创建一个AVCaptureDevice代表代表输入设备。在这里我们制定设备用于摄像。

 

    AVCaptureDevice *device = [AVCaptureDevice defaultDeviceWithMediaType:AVMediaTypeVideo];

 

3.创建AVCaptureDeviceInput,并添加到Session中

 

我们需要使用AVCaptureDeviceInput来让设备添加到session中,AVCaptureDeviceInput负责管理设备端口。我们可以理解它为设备的抽象。一个设备可能可以同时提供视频和音频的捕捉。我们可以分别用AVCaptureDeviceInput来代表视频输入和音频输入。

 

NSError *error;
AVCaptureDeviceInput *input = [AVCaptureDeviceInput deviceInputWithDevice:device error:&error];
[session addInput:input];

 

4.创建AVCaptureOutput

 

为了从session中取得数据,我们需要创建一个AVCaptureOutput

 

    AVCaptureVideoDataOutput *output = [[AVCaptureVideoDataOutput alloc]init];

 

5.设置output delegate,将output添加至session,在代理方法中分析视频流

 

为了分析视频流,我们需要为output设置delegate,并且指定delegate方法在哪个线程被调用。需要主要的是,线程必须是串行的,确保视频帧按序到达。

 

videoDataOutputQueue = dispatch_queue_create("VideoDataOutputQueue", DISPATCH_QUEUE_SERIAL);
[videoDataOutput setSampleBufferDelegate:self queue:videoDataOutputQueue];
[session addOutput:videoDataOutput];

 

我们可以在delegate方法中分析视频流。

 

captureOutput:didOutputSampleBuffer:fromConnection:,

 

6.开始捕捉

 

[session startRunning];

 

通过上面的简单例子,我么可以看出使用AVFoundation来捕捉视频流并不是十分复杂。重点是使用的过程需要了解配置的细节,还有性能问题。

 

 

以上是关于AVFoundation视频流处理的主要内容,如果未能解决你的问题,请参考以下文章

AVFoundation学习笔记: 媒体捕捉读取及写入

视频格式、AVFoundation 和 UTI

AVFoundation学习笔记:视频播放相关

使用 OpenCV 和 AVFoundation 框架的 iPhone 实时图像处理?

将 AVFoundation 与高分辨率视频一起使用时出现 -11855 错误代码。我应该使用啥分辨率?

带有 Core Audio AudioQueue 的 AVFoundation 会话