Hololens - 访问相机框架

Posted 2023-03-30

【中文标题】Hololens - 访问相机框架

【英文标题】：Hololens - Access Camera Frames

【发布时间】：2016-09-07 14:08:21

【问题描述】：

在 3D 模式下，如何从 hololens 相机访问视频流中的所有帧？我正在使用 C#。

unity VideoCapture 类似乎没有提供这个： http://docs.unity3d.com/550/Documentation/ScriptReference/VR.WSA.WebCam.VideoCapture.html

并且带有方法MediaCapture.StartPreviewToCustomSinkAsync 的microsoft MediaCapture 类没有很好的文档记录。 https://msdn.microsoft.com/en-us/library/windows/desktop/ms701626(v=vs.85).aspx

【参考方案1】：

我们创建了一个名为 CameraStream 的开源项目来满足这一需求。作为一个 Unity 插件，它使用 MediaCapture 将字节数组输入 Unity（连同可定位矩阵）。从那里您可以将字节分配给 Texture2D，如提供的 Unity 示例中所示。

我们的 VideoCapture 类模仿了Unity's class of the same name，以便开发人员熟悉如何使用它。我们还假设最终将由 Unity 开箱即用地提供此功能。

【讨论】：

你就是我一直在寻找的 MVP。我不敢相信我在发布时就遇到了这个答案......非常感谢伙计。

@Eric Smith：现在我们已经是 2020 年了，您知道是否有某种方法可以获取原始视频流像素吗？

@Eric Smith：你的开源项目是否也提供了获取视频 + 渲染的 3D 内容的方法？我希望能够使用 Hololens 用户看到的内容流式传输视频。

【参考方案2】：

您可以尝试使用 MediaCapture FrameReader API

文档： https://msdn.microsoft.com/en-gb/windows/uwp/audio-video-camera/process-media-frames-with-mediaframereader#create-a-frame-reader-for-the-frame-source

示例代码： https://github.com/Microsoft/Windows-universal-samples/tree/master/Samples/CameraFrames

【讨论】：

@yokto 它是否适用于 hololens，如果可以，请指导我提供示例代码？