图像识别——手写笔&手势识别

Posted 2022-03-30 somebot

博主QQ：1356438802

QQ群：473383394——UVC&OpenCV47

我们Windows微型投影仪的交互功能，想做两个级别：

• 用手写笔直接在投影仪平面上书写、绘画；
• 直接通过手势动作可以操控Windows桌面或者软件；

具体可以观摩下面这个系列产品介绍视频：Windows无屏PC

上面这两个交互功能，都要用到图像识别。手写笔上有一个红外LED灯，当把摄像头的曝光度调低时，整个画面就只有这个红外的亮点。手势动作识别，就需要从整个帧画面中提取出手的形状，并且拟合出手的运动轨迹，从而判断是哪种手势，再让系统进行响应。显而易见，手写笔的识别应该相对简单，所以我们来挑软的柿子捏，哈哈...

接下来我又想了一个问题，红外LED灯是红外线，摄像头可以捕捉到，那人体也有红外线啊，如果让摄像头只能看到人体红外线，后期图像识别不就简单多了吗！

于是来查资料

==================分割线=================

红外感应开关

全称热释电红外感应开关。自然界的任何物体，只要温度高于绝对零度（-273℃），总是不断向外发出红外辐射，物体的温度越高，它所发射的红外辐射峰值波长越小，发出红外辐射的能量越大。当人进入感应范围时，热释电红外传感器探测到人体红外光谱的变化，自动接通负载，人不离开感应范围，将持续接通；人离开后，延时自动关闭负载。 红外感应开关的主要器件为热释电红外传感器，人体有一定的体温，通常在36--37度，所以会发出特定波长的红外线，人体发射的9.5um红外线通过菲涅尔镜片增强聚集到红外感应源上，红外感应源通常采用热释电红外传感器，这种元件在接收到人体红外辐射温度发生变化时就会失去电荷平衡，向外释放电荷，后续电路经检测处理后就能触发开关动作。
来源： http://baike.baidu.com/link?url=Eh91-JSxb0FWhOwuVcF9dfIyGO3PRCd_PVfH5tpst2geaBKWAHKy8OeSiRzrHhbvXwttAMem0zeUza2vd67Wnq

菲涅尔镜片

是根据法国光物理学家FRESNEL发明的原理采用电镀模具工艺和PE（聚乙烯）材料压制而成。镜片（0.5mm厚）表面刻录了一圈圈由小到大，向外由浅至深的同心圆，从剖面看似锯齿。圆环线多而密感应角度大，焦距远；圆环线刻录的深感应距离远，焦距近。红外光线越是靠进同心环光线越集中而且越强。同一行的数个同心环组成一个垂直感应区，同心环之间组成一个水平感应段。垂直感应区越多垂直感应角度越大；镜片越长感应段越多水平感应角度就越大。区段数量多被感应人体移动幅度就小，区段数量少被感应人体移动幅度就要大。不同区的同心圆之间相互交错，减少区段之间的盲区。区与区之间，段与段之间，区段之间形成盲区。由于镜片受到红外探头视场角度的制约，垂直和水平感应角度有限，镜片面积也有限。镜片从外观分类为：长形、方形、圆形，从功能分类为：单区多段、双区多段、多区多段。


白光光谱
光色波长λ(nm)区间 [2]  代表波长 红（Red）780～630--700 橙（Orange）630～600---620 黄（Yellow）600～570---580 绿（Green）570～500---550 青（Cyan）500～470

---500 蓝（Blue）470～420---470 紫（Violet）420～380---420

红外LED光谱

红外线发光二极管由红外辐射效率高的材料（常用砷化镓GaAs）制成PN结，外加正向偏压向PN结注入电流激发红外光。光谱功率分布为中心波长830～950nm，半峰带宽约40nm左右。其最大的优点是可以完全无红暴，（采用940～950nm波长红外管）或仅有微弱红暴（红暴为有可见红光）而延长使用寿命。光是一种电磁波，它的波长区间从几个纳米（1nm=10-9m）到1毫米（mm）左右。人眼可见的只是其中一部分，我们称其为可见光，可见光的波长范围为380nm～780nm，可见光波长由长到短分为红、橙、黄、绿、青、兰、紫光，波长比紫光短的称为紫外光，波长比红光长的称为红外光。 通常应用红外发射管波长：850nm、870Nnm、880nm、940nm、980nm 功率与红外发射管波长的关系：850nm>880nm>940nm
来源： http://baike.baidu.com/link?url=xZWeRgLfTGxxopMIVO1JNWhx7-c2YfQimeIOe5AGm4hxXQp2wH5rRx_Q7wuBYOEZGvk_nn8hDusZgZohma0-Eq

CCD/CMOS摄像头感光波长

ccd全称是电荷耦合器件，最早本来是作为存储器件发明的，很快进入了成像领域。目前所称的ccd一般是指成像器件，基本上都是硅晶元生产的。ccd感光的物理基础是内光电效应，需要入射光子的能量高于带隙才能产生光生电子。光子能量与波长成反比，硅材料在大约1100nm以上的波长就不再有响应，这相当于近红外的波长。普通的ccd在没有加红外截止滤光片是或多或少都会对1100nm以内的红外光有响应。
任何温度不为零的物体都会向外辐射能量，辐射的峰值波长与温度有关，温度越高，峰值波长越短。太阳大致相当于五六千摄氏度的黑体，可以发出大量可见光，而人体的峰值发射波长大概是八九微米（仅凭印象，未核实），需要对热红外（长波红外）探测器才能对人体的发射进行成像，硅基ccd不会有响应。热红外探测器可以由很多不同的材料制成，感光材料与普通半导体有区别，一般不适宜制作大规模的读出电路，通常需要配以ccd或cmos读出电路才能工作（这里的ccd仅用作读出，不用于感光），其中使用ccd作读出电路的有时为了方便也直接称为ccd红外探测器，实际上ccd在次并不是感光元件。
安防的ccd一般可以接收到一部分的人体红外辐射，但红外响应相比其接收到的可见光响应来说弱很多。一般安防上会将ccd设置成2种工作模式，可见光以及红外模式。使用特定的红外透镜实现2种模式切换。由于红外的波长长，分辨率差，而且根据颜色空间标准，如果将红外响应叠加到可见光响应上，会导致成像模糊以及色偏。因此一般使用红外截止滤镜在可见光模式下滤掉红外。当夜晚模式时，由于可见光响应趋于0，这时候通过红外响应来成像，实现夜视功能。这时候对分辨率，颜色要求也不高了，能成像就行。所以红外图像一般都是单色模糊的，而且噪声大，帧率低（提高增益）。

天文摄影用的ccd没了解过，不过应该不是安防这么low的。首先，他的辐射弱太多了，用望远镜聚焦后也没多少。其次，噪声太大。所以一般应该是灵敏度很高的，可能是禁运的级别。然后还要很多张叠加在一起，尽可能去掉噪声，然后再做一些图像增强，才有那样的照片。
作者：林名
链接：http://www.zhihu.com/question/25752560/answer/31471780
来源：知乎
著作权归作者所有，转载请联系作者获得授权。

综上：
人体红外的波长是9.5um，而普通摄像头感光片超过1100nm波长就基本不会响应了，也就是说普通摄像头看不到人体红外线。其实这也不难理解，否则红外成像仪就不会那么贵了，而且基本是军用领域，民用很少，属于尖端科技。问了一个在搞光学研究的同学，他说国内还做不了很好的人体红外感应材料，呵呵。

那么我的想法就落空了，还是老老实实做图片中的手形提取吧。

后面开始手写笔的识别喽！