AVAsset 在 iOS 中使用图像叠加保存视频会破坏视频

Posted 2023-03-08

【中文标题】AVAsset 在 iOS 中使用图像叠加保存视频会破坏视频

【英文标题】：AVAsset Saving video in iOS with image overlay ruins video

【发布时间】：2015-10-16 13:06:51

【问题描述】：

我正在尝试将图像叠加层和视频合并到一个新的视频文件中。这是我正在使用的代码：

- (void)mergeVideoUrl:(NSURL *)videoURL andOverlayImage:(UIImage *)overlayImage

    NSLog(@"%s", __PRETTY_FUNCTION__);

    // Create an AVURLAsset
    AVURLAsset* videoAsset = [[AVURLAsset alloc]initWithURL:videoURL options:nil];
    AVMutableComposition* mixComposition = [AVMutableComposition composition];

    AVMutableCompositionTrack *compositionVideoTrack = [mixComposition addMutableTrackWithMediaType:AVMediaTypeVideo preferredTrackID:kCMPersistentTrackID_Invalid];
    AVAssetTrack *clipVideoTrack = [[videoAsset tracksWithMediaType:AVMediaTypeVideo] objectAtIndex:0];
    [compositionVideoTrack insertTimeRange:CMTimeRangeMake(kCMTimeZero, videoAsset.duration)
                                   ofTrack:clipVideoTrack
                                    atTime:kCMTimeZero
                                     error:nil];

    [compositionVideoTrack setPreferredTransform:[[[videoAsset tracksWithMediaType:AVMediaTypeVideo] objectAtIndex:0] preferredTransform]];

    CGSize videoSize = [clipVideoTrack naturalSize];

    // Get our image layer
    CALayer *aLayer = [CALayer layer];
    aLayer.contents = (id)overlayImage.CGImage;
    aLayer.frame = CGRectMake(0, 0, videoSize.width, videoSize.height);
    aLayer.opacity = 1.0;

    // Sort the layer order
    CALayer *parentLayer = [CALayer layer];
    CALayer *videoLayer = [CALayer layer];
    parentLayer.frame = CGRectMake(0, 0, videoSize.width, videoSize.height);
    videoLayer.frame = CGRectMake(0, 0, videoSize.width, videoSize.height);
    [parentLayer addSublayer:videoLayer];
    [parentLayer addSublayer:aLayer];

    // Create the composition and add the instructions to insert the layer
    AVMutableVideoComposition* videoComp = [AVMutableVideoComposition videoComposition];
    videoComp.renderSize = videoSize;
    videoComp.frameDuration = CMTimeMake(1, 30);
    videoComp.animationTool = [AVVideoCompositionCoreAnimationTool      videoCompositionCoreAnimationToolWithPostProcessingAsVideoLayer:videoLayer inLayer:parentLayer];

    // Instruction
    AVMutableVideoCompositionInstruction *instruction = [AVMutableVideoCompositionInstruction videoCompositionInstruction];
    instruction.timeRange = CMTimeRangeMake(kCMTimeZero, [mixComposition duration]);
    AVAssetTrack *videoTrack = [[mixComposition tracksWithMediaType:AVMediaTypeVideo] objectAtIndex:0];
    AVMutableVideoCompositionLayerInstruction* layerInstruction = [AVMutableVideoCompositionLayerInstruction videoCompositionLayerInstructionWithAssetTrack:videoTrack];
    instruction.layerInstructions = [NSArray arrayWithObject:layerInstruction];
    videoComp.instructions = [NSArray arrayWithObject: instruction];

    // Export
    AVAssetExportSession *assetExport = [[AVAssetExportSession alloc] initWithAsset:mixComposition presetName:AVAssetExportPresetHighestQuality];
    assetExport.videoComposition = videoComp;

    NSString* videoName = @"mynewwatermarkedvideo.mov";

    NSString *exportPath = [NSTemporaryDirectory() stringByAppendingPathComponent:videoName];
    NSURL    *exportUrl = [NSURL fileURLWithPath:exportPath];

    if ([[NSFileManager defaultManager] fileExistsAtPath:exportPath])
    
        [[NSFileManager defaultManager] removeItemAtPath:exportPath error:nil];
    

    assetExport.outputFileType = AVFileTypeQuickTimeMovie;
    assetExport.outputURL = exportUrl;
    assetExport.shouldOptimizeForNetworkUse = YES;

    [assetExport exportAsynchronouslyWithCompletionHandler:^(void)
     
         //FINALIZATION CODE HERE
         NSLog(@"DONE: %@", exportUrl);
     ];

问题是它搞砸了视频。知道为什么吗？ 我感觉视频帧大小可能与它或纵横比有关，好像我设置了(2000,2000) 的大小，它似乎工作正常，但有很多黑边。

编辑----- 似乎如果我将CGSize videoSize 设置为 2/3 的比率，例如320x480 或1280x1920，那么它可以工作，但是生成的视频在右侧有一个黑条。为什么[clipVideoTrack naturalSize] 会报告1080x1920 的大小，但除非我使用1280x1920，否则它会搞砸？我认为这可能是转换/裁剪问题？

EDIT2----- 在AVAssetExportPresetLowQuality、AVAssetExportPresetMediumQuality 和AVAssetExportPresetHighestQuality 之间更改AVAssetExportSession 预设名称会产生不同大小的视频。所以我认为这会以某种方式覆盖输出视频帧大小。

【问题讨论】：

为什么要投票结束？

你的叠加层尺寸是多少？

当前覆盖是750x1334，但这不是问题，因为使用一些文本而不是图像会产生相同的结果

【参考方案1】：

CGSize videoSize = [clipVideoTrack naturalSize];

这为您提供了录音的尺寸，但您需要查看轨道的prefferedTransform 以找到录音的方向。您可能会发现视频宽度实际上是naturalSize“高度”，具体取决于录制过程中设备的握持方式。

我看到你在构图中设置了它，但你需要检查它才能将正确的帧分配给你的 CALayers

【讨论】：

这是有道理的。视频轨道的preferredTransform 变换显示为[1, 0, 0, 1, 0, 0]我不知道如何检查这个是否翻转x/y 坐标。

我不太确定这是不是现在的问题，因为翻转 videoLayer.frame 中的高度/宽度会得到相同的结果，但只有半屏模糊视频。

翻转 videoComp.renderSize 的 x/y 是我获得没有混乱的视频的唯一方法，但是它给了我一个横向视频而不是纵向视频，但视频本身是正确的方向。跨度>

您确定在 AVMutableVideoCompositionLayerInstruction 上设置了转换吗？将此设置为剪辑 prefferedTransform 或创建纵向变换可能会有所帮助

我试过添加[layerInstruction setTransform:[[[videoAsset tracksWithMediaType:AVMediaTypeVideo] objectAtIndex:0] preferredTransform] atTime:CMTimeMake(0, 30)];