iOS 中的点对点视频

Posted 2023-03-11

【中文标题】iOS 中的点对点视频

【英文标题】：Peer to peer video in iOS

【发布时间】：2017-01-10 06:49:34

【问题描述】：

我正在尝试将一部 iPhone 上的实时视频缓冲区传输到另一部 iPhone（称为客户端 iPhone）以进行预览显示，并接受来自客户端 iPhone 的命令。我正在考虑实现这一目标的标准方法。我找到的最接近的是AVCaptureMultipeerVideoDataOutput on Github。

但是，它仍然使用 Multipeer 连接框架，我认为它仍然需要在两部 iPhone 上进行一些设置。我想要的是理想情况下，两部 iPhone 都不需要设置，只要两部 iPhone 都启用了 Wifi（或者如果可能的话，蓝牙），对等方应该在应用程序中相互识别并提示用户有关设备发现。实现此目的的标准方法是什么以及示例代码的链接？

编辑：从头开始编写代码后，我通过 Multipeer 连接使其工作。截至目前，我通过将数据缩小和压缩为 jpeg 将像素缓冲区发送到对等设备。在远程设备上，我有 UIImage 设置，我在每帧时间显示数据。但是我认为 UIKit 可能不是显示数据的最佳方式，即使图像很小。如何使用 OpenGLES 显示这些数据？在 Opengles 中可以直接解码 jpeg 吗？

【问题讨论】：

AFAIK 多点连接具有您发现和流式传输实时会话所需的所有 API。如果您不想使用它，其他选择是使用 AirPlay，但这是一种解决方法，无法帮助发现附近的客户端 iPhone

我尝试了 MC 的示例代码，但无法配对设备和发送数据。我需要的是一个简单的界面，其中一部 iPhone 会在发现对等点后立即弹出一个弹出窗口以选择对等点。选择对等点启动数据流。我无法通过任何可用的示例代码运行它，包括 Apple 在 MC 群聊中提供的一个。

【参考方案1】：

评论：

截至目前，我正在通过以下方式将像素缓冲区发送到对等设备 将数据缩小和压缩为 jpeg。在远程设备上，我 有 UIImage 设置，我在每帧时间显示数据。然而 我认为 UIKit 可能不是显示数据的最佳方式，即使 图片很小。

事实证明，这是通过 Multipeer Connectivity 框架传输图像的最佳方式。我已经尝试了所有替代方案：

我使用 VideoToolbox 压缩了帧。太慢了。 我已经使用 Compression 压缩了帧。太慢了，但更好。

让我为#2 提供一些代码：

在ios设备上传输图像数据：

- (void)captureOutput:(AVCaptureOutput *)captureOutput didOutputSampleBuffer:(CMSampleBufferRef)sampleBuffer fromConnection:(AVCaptureConnection *)connection

    CVImageBufferRef imageBuffer = CMSampleBufferGetImageBuffer(sampleBuffer);
    CVPixelBufferLockBaseAddress(imageBuffer,0);
    __block uint8_t *baseAddress = (uint8_t *)CVPixelBufferGetBaseAddress(imageBuffer);
    dispatch_async(self.compressionQueue, ^
        uint8_t *compressed = malloc(sizeof(uint8_t) * 1228808);
        size_t compressedSize = compression_encode_buffer(compressed, 1228808, baseAddress, 1228808, NULL, COMPRESSION_ZLIB);
        NSData *data = [NSData dataWithBytes:compressed length:compressedSize];
        NSLog(@"Sending size: %lu", [data length]);
        dispatch_async(dispatch_get_main_queue(), ^
            __autoreleasing NSError *err;
            [((ViewController *)self.parentViewController).session sendData:data toPeers:((ViewController *)self.parentViewController).session.connectedPeers withMode:MCSessionSendDataReliable error:&err];
        );
    );
    CVPixelBufferUnlockBaseAddress(imageBuffer, 0);

在显示图像数据的 iOS 设备上：

typedef struct 
    size_t length;
    void *data;
 ImageCacheDataStruct;

- (void)session:(nonnull MCSession *)session didReceiveData:(nonnull NSData *)data fromPeer:(nonnull MCPeerID *)peerID

    NSLog(@"Receiving size: %lu", [data length]);
    uint8_t *original = malloc(sizeof(uint8_t) * 1228808);
    size_t originalSize = compression_decode_buffer(original, 1228808, [data bytes], [data length], NULL, COMPRESSION_ZLIB);

    CGColorSpaceRef colorSpace = CGColorSpaceCreateDeviceRGB();
    CGContextRef newContext = CGBitmapContextCreate(original, 640, 480, 8, 2560, colorSpace, kCGBitmapByteOrder32Little | kCGImageAlphaPremultipliedFirst);
    CGImageRef newImage = CGBitmapContextCreateImage(newContext);

    UIImage *image = [[UIImage alloc] initWithCGImage:newImage scale:1 orientation:UIImageOrientationUp];

    CGContextRelease(newContext);
    CGColorSpaceRelease(colorSpace);
    CGImageRelease(newImage);

    if (image) 
        dispatch_async(dispatch_get_main_queue(), ^
            [((ViewerViewController *)self.childViewControllers.lastObject).view.layer setContents:(__bridge id)image.CGImage];
        );
    

虽然此代码在接收端生成原始质量的图像，但您会发现这对于实时播放来说太慢了。

这是最好的方法：

在发送图像数据的 iOS 设备上：

- (void)captureOutput:(AVCaptureOutput *)captureOutput didOutputSampleBuffer:(CMSampleBufferRef)sampleBuffer fromConnection:(AVCaptureConnection *)connection

    CVImageBufferRef imageBuffer = CMSampleBufferGetImageBuffer(sampleBuffer);

    CVPixelBufferLockBaseAddress(imageBuffer,0);
    uint8_t *baseAddress = (uint8_t *)CVPixelBufferGetBaseAddress(imageBuffer);
    size_t bytesPerRow = CVPixelBufferGetBytesPerRow(imageBuffer);
    size_t width = CVPixelBufferGetWidth(imageBuffer);
    size_t height = CVPixelBufferGetHeight(imageBuffer);

    CGColorSpaceRef colorSpace = CGColorSpaceCreateDeviceRGB();
    CGContextRef newContext = CGBitmapContextCreate(baseAddress, width, height, 8, bytesPerRow, colorSpace, kCGBitmapByteOrder32Little | kCGImageAlphaPremultipliedFirst);
    CGImageRef newImage = CGBitmapContextCreateImage(newContext);


    UIImage *image = [[UIImage alloc] initWithCGImage:newImage scale:1 orientation:UIImageOrientationUp];
    CGImageRelease(newImage);
    CGContextRelease(newContext);
    CGColorSpaceRelease(colorSpace);
    CVPixelBufferUnlockBaseAddress(imageBuffer, 0);

    if (image) 
        NSData *data = UIImageJPEGRepresentation(image, 0.7);
        NSError *err;
        [((ViewController *)self.parentViewController).session sendData:data toPeers:((ViewController *)self.parentViewController).session.connectedPeers withMode:MCSessionSendDataReliable error:&err];
    

在接收图像数据的 iOS 设备上：

- (void)session:(nonnull MCSession *)session didReceiveData:(nonnull NSData *)data fromPeer:(nonnull MCPeerID *)peerID

  dispatch_async(self.imageCacheDataQueue, ^
        dispatch_semaphore_wait(self.semaphore, DISPATCH_TIME_FOREVER);
        const void *dataBuffer = [data bytes];
        size_t dataLength = [data length];
        ImageCacheDataStruct *imageCacheDataStruct = calloc(1, sizeof(imageCacheDataStruct));
        imageCacheDataStruct->data = (void*)dataBuffer;
        imageCacheDataStruct->length = dataLength;

        __block const void * kMyKey;
        dispatch_queue_set_specific(self.imageDisplayQueue, &kMyKey, (void *)imageCacheDataStruct, NULL);

        dispatch_sync(self.imageDisplayQueue, ^
            ImageCacheDataStruct *imageCacheDataStruct = calloc(1, sizeof(imageCacheDataStruct));
            imageCacheDataStruct = dispatch_queue_get_specific(self.imageDisplayQueue, &kMyKey);
            const void *dataBytes = imageCacheDataStruct->data;
            size_t length = imageCacheDataStruct->length;
            NSData *imageData = [NSData dataWithBytes:dataBytes length:length];
            UIImage *image = [UIImage imageWithData:imageData];
            if (image) 
                dispatch_async(dispatch_get_main_queue(), ^
                    [((ViewerViewController *)self.childViewControllers.lastObject).view.layer setContents:(__bridge id)image.CGImage];
                    dispatch_semaphore_signal(self.semaphore);
                );
            
        );
    );

信号量和单独的 GCD 队列的原因很简单：您希望帧以相等的时间间隔显示。否则，视频一开始似乎会变慢，就在为了赶上速度而加快速度之前。我的方案确保每一帧都以相同的速度一个接一个地播放，而不考虑网络带宽瓶颈。