macOS平台下虚拟摄像头的研发总结
Posted
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了macOS平台下虚拟摄像头的研发总结相关的知识,希望对你有一定的参考价值。
一、背景介绍
虚拟摄像头,顾名思义,就是利用软件技术虚拟出一个摄像头硬件设备供用户使用。当我们需要对视频图像进行处理再输出时,虚拟摄像头就具备非常大的价值了。关于如何在Windwos上实现一个虚拟设备的资料已经非常丰富了,Windows Driver Kit里面也有非常多的帮助文档。这篇博文主要总结了在Mac下开发虚拟摄像头的一些经验。Mac下的虚拟摄像头产品其实也有不少,例如CamTwist, CamMask, CamWiz, ManyCam等。但是关于如何在Mac下开发虚拟摄像头设备的资料却是异常匮乏。通过一番搜索后才找到一个关键字:CoreMediaIO. 经过了解,CoreMediaIO是Mac下的一个framework,主要用于对视频图像进行处理。而CoreMediaIO framework有一个Device Abstraction Layer(DAL),它类似与Mac下CoreAudio的Hardware Abstraction Layer(HAL)。HAL主要是用来处理音频硬件发送的音频流的,而DAL则是用来处理视频设备的视频流的。因此,利用DAL插件框架,可以模拟出一个摄像头设备供上层用户使用。
CoreMediaIO DAL有一个示例项目,这个项目模拟出了一个名为“Sample”的设备,通过底层kext模块提供的模拟数据实现视频帧的传递。这个DEMO要真正使用起来的话,有一些需要注意的地方。在Demo中的README文件中推荐使用如下命令安装预编译好的程序:
// Debug sudo darwinup install {path to CoreMediaIO folder}/Prebuilts/Sample-Debug.tar.gz // Release sudo darwinup install {path to CoreMediaIO folder}/Prebuitls/Sample-Release.tar.gz
这样安装之后,并不能马上就能找到虚拟摄像头。一方面是因为kext提供的模拟数据超过800MB,加载到内存中需要一定的时间;另一方面是因为Prebuilts中的kext模块是未签名的。而OSX自从Mavericks开始要求kext模块必须经过签名,系统才会自动加载。否则的话需要关闭System Integirty Protection(SIP),手动加载Kext模块才能让Demo正常工作。
二、如何编译项目
在我们着手开发定制自己的虚拟摄像头之前,第一步就是要搞清楚Demo工程的组织结构。在Demo工程中包括两个文档,分别说明了DAL插件的工程结构、工作原理。这两个文档在开发之前应该要好好看看,对于了解整个代码结构和工作机制具有较大的帮助。另外,如何编译整个Demo工程也是个大问题。因为下载下来的工程中缺少了CoreAudio模块,需要手动下载CoreAudio模块加入到工程中去。然后可能还有一些语法错误需要修改,这个根据系统版本和XCode版本视情况而定。
1. 添加CoreAudio模块。默认工程是不包含CoreAudio模块的,因此直接编译会有很多链接错误:
下载地址:Core Audio Utility Classes.(可能需要Apple ID登陆)。下载好把整个文件夹加入到Demo工程中去进行编译。如果编译还是有错的话,可以将CoreAudio模块单独编译出一个静态库,然后在Demo工程中加入CoreAudio头文件和静态库进行编译,这样应该就可以解决掉编译问题了。
2. 语法修改。可能是因为macOS SDK的版本问题,编译过程中需要修改一些语法错误,如下:
解决方法倒也简单:
还有一些赋值的问题,不过基本上都是编译标准的问题,不难解决掉。
三、插件模块修改
1. 分辨率。官方Demo工程提供了几个分辨率:720x480, 1280x720, 1920x1080。如果要增加自己的分辨率的话,可以直接把这几个分辨率改掉。
在这里将分辨率的宽高修改掉,同时注意还有帧率也是在这里修改的。注意Demo工程三种分辨率使用的颜色模式是UVVY422哦!因此如果要采用Demo工程的颜色模式的话,需要将图像转换为UYVY422格式。
2. 颜色模式。如何修改颜色模式呢?总共有两个地方需要修改,除了上面那个kCMVideoCodecType_422YpCbCr8需要修改,在CMIO_DPA_Sample_Server_Stream.cpp中还有个地方需要修改:
这里指定Plugin支持的颜色模式。那么,Plugin总共支持哪些颜色模式呢?看看enum里的枚举成员就知道了:
3. 设备基本信息。设备基本信息主要就是设备的名称,方便用户进行识别选择使用。这个只有一个地方需要修改:
4. Create server failed的问题。在plugin的入口函数中,有这样一段代码:
开发人员在注释中详细解释了,为了调试的目的这里尝试使用了手动方式启动Assistant。而在实际测试时,bootstrap_create_server()会经常失败抛出异常,导致入口函数提前结束执行,因而创建虚拟设备失败。注释中还解释道,一般是使用plist文件在系统启动时创建assistant服务。这样,bootstrap_loop_up()在查找到Assistant服务后,就会跳过手动创建Assistant服务。
由此看来,位于/Library/LaunchDaemons中的plist文件是必不可少的。/Library/LaunchDaemons/下的plist文件其实就是指定哪些程序随系统启动自运行。其内容如下:
<?xml version="1.0" encoding="UTF-8"?> <!DOCTYPE plist PUBLIC "-//Apple//DTD PLIST 1.0//EN" "http://www.apple.com/DTDs/PropertyList-1.0.dtd"> <plist version="1.0"> <dict> <key>Label</key> <string>com.apple.cmio.DPA.Sample</string> <key>ProgramArguments</key> <array> <string>/Library/CoreMediaIO/Plug-Ins/DAL/Sample.plugin/Contents/Resources/SampleAssistant</string> </array> <key>MachServices</key> <dict> <key>com.apple.cmio.DPA.Sample</key> <true/> </dict> </dict> </plist>
四、内核模块修改
1. 移除Demo中的模拟帧数据。Demo工程提供了三个分辨率的模拟数据,每个分辨率都有30帧的数据。三个分辨率的数据加起来有八百多兆,定制的时候有必要把他们去掉。根据Demo工程配置来看,模拟帧数据是作为section data编译到了kext模块中去了:
因此这里去掉模拟数据的方式非常简单,把”Other Linker Flags“里面的内容全部删掉即可。当然,代码中使用这些section data的部分也要跟着删掉。
2. 内核签名。OSX自从Mavericks开始,对Kext开发引入了签名机制。所有未签名的kext模块系统不会再自动加载。因此,要让系统自动加载第三方开发的kext模块,开发者需要向苹果申请能够对kext进行签名的证书(看这里)。一般的开发者证书即使正常签名了,也不能被系统正常识别。签名过后,可以对kext模块进行签名验证:
在没有能够对kext进行签名的证书时,可以把SIP关掉进入测试模式。这样即便kext未签名也可以手动进行加载,方便对程序进行测试。
3. kext模块自动加载。这里有一点奇怪的是:经过签名的kext模块在系统重启时会被系统自动加载,但是通过Plugin访问不到kext模块服务。必须要先调用kextunload一次,再kextload一次才能起作用。暂时没有搞清楚这是什么原因,不过根据其他虚拟摄像头产品的解决方案来看,也是存在这个问题的。比如CamWiz的解决方案就是:
(1)编写一个plist文件放到/Library/LaunchDaemons/文件下,其内容为:
<?xml version="1.0" encoding="UTF-8"?> <!DOCTYPE plist PUBLIC "-//Apple//DTD PLIST 1.0//EN" "http://www.apple.com/DTDs/PropertyList-1.0.dtd"> <plist version="1.0"> <dict> <key>Disabled</key> <false/> <key>Label</key> <string>com.apple.vcam.DriverReloader</string> <key>ProgramArguments</key> <array> <string>/Library/CoreMediaIO/Plug-ins/DAL/Sample.plugin/Contents/Resources/reloadKext.sh</string> </array> <key>RunAtLoad</key> <true/> </dict> </plist>
(2)编写一个shell脚本reloadKext.sh,并打包到Sample.plugin的Resources文件夹下,其内容如下:
#!/bin/sh /sbin/kextunload "/Library/Extensions/IOVideoSample.kext" /sbin/kextload "/Library/Extensions/IOVideoSample.kext"
这样,每次系统重启的时候都会去调用这个脚本,卸载kext模块然后再加载。这就解决了Kext模块的问题。事实上,如果没有硬件层的需要,去掉kext模块是最好的。但是整个Demo工程代码繁杂,文档又是极其匮乏,想要剥离Kext模块难度较大。但是仍然有不少的产品实现了这一点,如CamTwist、Cammask和ManyCam。CamTwist更牛逼的是,在一个插件中虚拟出了两个设备。一个是YUV颜色模式,另外一个是BGRA颜色模式。
五、其他事项
1. 程序打包及安装路径。根据职能需要,整个项目的安装程序分成三个部分:
(1)*.plugin安装到/Library/CoreMediaIO/Plug-Ins/DAL/.
(2)*.kext安装到/Library/Extensions/. 苹果官方规定:第三方开发的kext模块只能放在这里,而苹果自带的kext模块则放在/System/Library/Extensions/.
(3)*.plist安装到/Library/LaunchDaemons/. 放在这里的plist文件都是为了开机启动。因此在制作安装包时,记得要求用户安装完毕时重启系统。
2. 文件权限问题。安装包中的所有文件最好修改所有者权限,否则有可能无法使用:
$ sudo chown -R root:wheel *
3. 相关命令
(1)otool搭配install_name_tool使用
(2)kext*族命令(kextload, kextunload, kextstat, kextutil)
4. 安装包打包程序还是推荐使用packages,这是一款良心工具。使用简单、界面美观、功能强大实用,实在是制作pkg文件的上上之选。
六、参考链接
2. https://superuser.com/questions/47233/how-can-i-force-a-mac-os-x-kext-to-load-prior-to-login
5. https://forums.developer.apple.com/thread/18019
6. https://macwish.com/kext-signing-for-mac-yosemite/
以上是关于macOS平台下虚拟摄像头的研发总结的主要内容,如果未能解决你的问题,请参考以下文章