使用 coreML 进行 SceneKit 样式转换

Posted 2023-03-23

【中文标题】使用 coreML 进行 SceneKit 样式转换

【英文标题】：SceneKit Style Transfer with coreML

【发布时间】：2021-11-25 16:37:25

【问题描述】：

目标： 使用 coreML 进行 SceneKit 样式迁移

如何： 从 SceneKit 帧中获取 CVPixelBuffer，如下面的 WWDC 视频所示： https://developer.apple.com/videos/play/wwdc2020/10642/

试过了： 我尝试访问 SCN 帧，但它似乎无法访问 CVPixelBuffer

问题： 如何从 SceneKit 帧中获取 CVPixelBuffer？或者有没有更好的方法在 SceneKit 中进行样式转换？

【参考方案1】：

我发现有这样的描述。

在这里，我用不同的样式对虚拟对象纹理进行离线样式化，但我想做更多。

我认为它通过matel显示虚拟对象纹理。我尝试通过CIImage获取CVPixelBuffer，通过arView.renderCallbacks.postProcess处理得到实时处理效果，比获取视频处理方便多了，但是如何通过matel处理数据我不太清楚，希望有人可以提供更多信息。

你可以参考这个演讲视频 https://developer.apple.com/videos/play/wwdc2021/10075/