从 CMSampleBuffer 转换为 UIImage 对象

Posted 2023-03-11

【中文标题】从 CMSampleBuffer 转换为 UIImage 对象

【英文标题】：Convert from the CMSampleBuffer to a UIImage object

【发布时间】：2011-04-13 06:03:30

【问题描述】：

我尝试了一个示例，使用文档中给出的 AV Foundation 将摄像机中的视频帧作为图像捕获，即

http://developer.apple.com/library/ios/#qa/qa1702/_index.html

但是在从CMSampleBufferRef 获取 UIImage 对象的委托方法中，给出的方法没有构建。

意味着我也导入了 AVFoundation 框架，但它给出了 14 个错误，例如 _CVPixelBufferUnlockBaseAddress，引用自：.

如果有人知道如何解决，请帮助我。

提前致谢。请知道的人告诉我。

【问题讨论】：

Why won't AVFoundation link with my XCode 3.2.3 iPhone 4.0.1 project?的可能重复

@Kenny TM：感谢您的回复。是的，在导入 corevideo 后它的工作。我正在委托方法中获取 UIImage 对象，但是如果我尝试使用 UIImageView 显示 UIImage 意味着 UIImageView *img = [[UIImageView alloc]initWithImage:image]; img.frame = CGRectMake(10,120, 100, 100); [self.view addSubview:img];像这样图像不显示......

【参考方案1】：

这是从捕获的数据中捕获和获取图像的代码：

-(IBAction)startCapture

    //session object
    captureSession = [[AVCaptureSession alloc]init];
    captureSession.sessionPreset = AVCaptureSessionPresetMedium;

    AVCaptureVideoPreviewLayer *previewLayer = [AVCaptureVideoPreviewLayer layerWithSession:captureSession];
    previewLayer.frame = CGRectMake(0, 10, 320, 200); ////self.view.frame; //
    [self.view.layer addSublayer:previewLayer];

    NSError *error = nil;
    AVCaptureDevice *device = [AVCaptureDevice defaultDeviceWithMediaType:AVMediaTypeVideo];

    //input object
    AVCaptureDeviceInput *inputDevice = [[AVCaptureDeviceInput alloc]initWithDevice:device error:&error];
    [captureSession addInput:inputDevice];

    stillImageOutput = [[AVCaptureStillImageOutput alloc] init];
    NSDictionary *outputSettings = [[NSDictionary alloc] initWithObjectsAndKeys: AVVideoCodecJPEG, AVVideoCodecKey, nil];
    [stillImageOutput setOutputSettings:outputSettings];

    [captureSession addOutput:stillImageOutput];
    [captureSession startRunning];


-(IBAction) captureNow

    AVCaptureConnection *videoConnection = nil;
    for (AVCaptureConnection *connection in stillImageOutput.connections)
    
        for (AVCaptureInputPort *port in [connection inputPorts])
        
            if ([[port mediaType] isEqual:AVMediaTypeVideo] )
            
                videoConnection = connection;
                break;
            
        
        if (videoConnection)  break; 
    

    NSLog(@"about to request a capture from: %@", stillImageOutput);
    [stillImageOutput captureStillImageAsynchronouslyFromConnection:videoConnection completionHandler: ^(CMSampleBufferRef imageSampleBuffer, NSError *error)
     
         CFDictionaryRef exifAttachments = CMGetAttachment( imageSampleBuffer, kCGImagePropertyExifDictionary, NULL);

         NSLog(@"exif Attachments:%@",exifAttachments);
         if (exifAttachments)
         
             NSData *imageData = [AVCaptureStillImageOutput jpegStillImageNSDataRepresentation:imageSampleBuffer];

             UIImage *image = [[UIImage alloc] initWithData:imageData];
             self.vImage.image = image;
             // Do something with the attachments.

         
         else
             NSLog(@"no attachments");   
     ];

【参考方案2】：

您的最终目标是什么 - 您是否尝试将视频录制到视频文件中。或者只是捕捉特定的帧？我有一个使用 AVCaptureSession 捕获带有音频的视频文件的工作示例，如果它有帮助，我可以发布一些代码 sn-ps - 但是看到涉及一些零碎的东西，我想具体知道你想要什么做。

干杯，

迈克尔

【讨论】：

感谢您的回复。这里我的主题是捕捉视频并需要将其显示为视频文件或图像。我知道如何从捕获视频帧中获取图像，但是如果我尝试使用 UIImageView 显示或将其保存到相册中，它就无法正常工作。

你得到我想要做的事情了吗。

【参考方案3】：

assetWriter 完成电影录制/图像捕获后保存到库中。

将其放在实现文件的顶部 *这是保存视频文件的示例，但您可以更改它以保存图像：

ALAssetsLibraryWriteVideoCompletionBlock _videoCompblock = ^(NSURL *assetURL, NSError *error)
if(assetURL)
    NSLog(@"Saved to camera roll with Video AssetUrl : %@", [assetURL absoluteString]);
    NSError *error;

    NSFileManager *fileManager = [NSFileManager defaultManager];
    NSDictionary *attributes = [fileManager attributesOfItemAtPath:[assetURL absoluteString] error:&error];

    if (attributes)
        long fileSize = [[attributes objectForKey:NSFileSize] longValue];// unsigned long long
        NSLog(@"%d", fileSize);
    

else if(error)
    NSLog(@"The Error occured : %@", [error localizedDescription]);

;

然后你需要一个使用上述块的函数 - 所以当你捕获会话完成录制时有这样的东西：

-(void) stopRecording
writing = NO;
isRecording = NO;
[audioInput markAsFinished];//if you have an audio writer stop it too
[videoInput markAsFinished];
[assetWriter endSessionAtSourceTime:[frTimer currentTimeStamp]];
[assetWriter finishWriting];

finished = YES;

[videoUtilities saveToCamera:[assetWriter outputURL]];
NSLog(@"%@", [[assetWriter outputURL] absoluteString]);

这会触发保存到相机功能，看起来有点像这样：

+(void) saveToCamera:(NSURL *)urlPath

ALAssetsLibrary *library = [[ALAssetsLibrary alloc] init];

AVAsset *movFile = [AVURLAsset URLAssetWithURL:urlPath options:nil];
NSLog(@"Movie File %@", movFile);

BOOL isSupported = [library videoAtPathIsCompatibleWithSavedPhotosAlbum:urlPath];

if(isSupported)
    NSLog(@"IS SUPPORTED - SAVING TO CAMERA ROLL");
    [library writeVideoAtPathToSavedPhotosAlbum:urlPath completionBlock:_videoCompblock];

如果您尝试在拍摄时实时显示保存的图像 - 您需要在拍摄照片时将 UIImageData 复制到 UIImage 对象 - 并将其分配为 UIImageView 的图像。或者你可以枚举assetLibrary并从那里拉出来。

希望这会有所帮助，

干杯，

迈克尔

【讨论】：

谢谢你。但我没有得到如何在我的要求中使用你的代码。

【参考方案4】：

你必须导入 CoreMedia.framework 和 CoreVideo.framework