Hololens - 访问相机框架
Posted
技术标签:
【中文标题】Hololens - 访问相机框架【英文标题】:Hololens - Access Camera Frames 【发布时间】:2016-09-07 14:08:21 【问题描述】:在 3D 模式下,如何从 hololens 相机访问视频流中的所有帧?我正在使用 C#。
unity VideoCapture
类似乎没有提供这个:
http://docs.unity3d.com/550/Documentation/ScriptReference/VR.WSA.WebCam.VideoCapture.html
并且带有方法MediaCapture.StartPreviewToCustomSinkAsync
的microsoft MediaCapture
类没有很好的文档记录。
https://msdn.microsoft.com/en-us/library/windows/desktop/ms701626(v=vs.85).aspx
【问题讨论】:
【参考方案1】:我们创建了一个名为 CameraStream 的开源项目来满足这一需求。作为一个 Unity 插件,它使用 MediaCapture 将字节数组输入 Unity(连同可定位矩阵)。从那里您可以将字节分配给 Texture2D,如提供的 Unity 示例中所示。
我们的 VideoCapture 类模仿了Unity's class of the same name,以便开发人员熟悉如何使用它。我们还假设最终将由 Unity 开箱即用地提供此功能。
【讨论】:
你就是我一直在寻找的 MVP。我不敢相信我在发布时就遇到了这个答案......非常感谢伙计。 @Eric Smith:现在我们已经是 2020 年了,您知道是否有某种方法可以获取原始视频流像素吗? @Eric Smith:你的开源项目是否也提供了获取视频 + 渲染的 3D 内容的方法?我希望能够使用 Hololens 用户看到的内容流式传输视频。【参考方案2】:您可以尝试使用 MediaCapture FrameReader API
文档: https://msdn.microsoft.com/en-gb/windows/uwp/audio-video-camera/process-media-frames-with-mediaframereader#create-a-frame-reader-for-the-frame-source
示例代码: https://github.com/Microsoft/Windows-universal-samples/tree/master/Samples/CameraFrames
【讨论】:
@yokto 它是否适用于 hololens,如果可以,请指导我提供示例代码?以上是关于Hololens - 访问相机框架的主要内容,如果未能解决你的问题,请参考以下文章
如何从 WinRT Windows.Media API 中获取 Hololens 可定位相机视图和投影矩阵