opencv实时识别指定物体

Posted 2022-05-28 ESOO

一. 引入

    opencv人脸识别大家应该都听说过，本篇目的是利用opencv从视频帧中识别指定的物体，并框出来，且可以保存截取到的物体图片，会将整个流程都讲一下,包括训练自己的分类器，使用训练好的分类器进行识别。这里以识别舌头为例。

二.  环境：

    1.  python 3.6.3     2. opencv 3.4.0

三. 训练自己的分类器

1. 注意点：训练集分为正样本，负样本，样本全部为灰度图片，正样本图片尺寸需要固定，一般40*40左右即可，大了电脑跑不动，负样本尺寸不固定，负样本数量要比正样本多才行，少了有问题。 图片批量缩小工具下载：链接：https://pan.baidu.com/s/1pMAp19p 密码：vpp1 图片批量灰度处理：使用美图秀秀
2. 正样本制作，使用美图秀秀将舌头的图片全部裁剪出来（尺寸一致为：40*40的），保存到一个文件夹pos中，当然可以先用大尺寸正方形框进行裁剪，然后再用图片缩小工具进行制定尺寸缩小。最后再用美图秀秀批量灰度化。 附上名字自动有序化Java代码：

[java]

view plain copy

1. String path = "C:\\\\Users\\\\Administrator\\\\Desktop\\\\pos\\\\";  
2.         File f = new File(path);  
3.         File[] files = f.listFiles();  
4.         for (File file : files)   
5.             i++;  
6.             file.renameTo(new File(path+i+"."+file.getName().split("\\\\.")[1]));  
7.           

处理后得到如下所示图片：
3. 负样本制作：如上操作类似，不过这里不要求尺寸一样，但是负样本图片中一定不要包含待识别的区域（如这里的：舌头） 如下所示：


4. 生成样本资源记录文件：
a. 正样本 资源记录文件
新建pos文件夹，将正样本的灰度图拷贝进去 使用JAVA代码生成正样本资源记录文件：

[java]

view plain copy

1. String path = "E:\\\\tools\\\\python\\\\eclipse\\\\work\\\\pythonTest\\\\demo\\\\0202\\\\img\\\\train\\\\tongue\\\\pos\\\\";  
2.         File txtfile = new File(path+"pos.txt");  
3.         FileOutputStream fos = new FileOutputStream(txtfile);  
4.         PrintWriter pw = new PrintWriter(fos,true);  
5.         String s = "";  
6.         File[] files = new File(path).listFiles();  
7.         for (File file : files)   
8.             pw.println("pos/"+file.getName()+" 1 0 0 40 40");  
9.           

生成后删除最后一行的带有(pos.txt)的内容，让正样本资源记录文件内容如下类似所示：

(1 0 0 40 40)分别指代： 数量  左上方的坐标位置(x,y)  右下方的坐标位置(x,y) 处理好后，将pos.txt 移动到上一级文件夹

b. 负样本资源记录文件
新建neg文件夹，将负样本的灰度图拷贝进去 使用JAVA代码生成负样本资源记录文件：

[java]

view plain copy

1. String path = "E:\\\\tools\\\\python\\\\eclipse\\\\work\\\\pythonTest\\\\demo\\\\0202\\\\img\\\\train\\\\tongue\\\\neg\\\\";  
2.         File txtfile = new File(path+"neg.txt");  
3.         FileOutputStream fos = new FileOutputStream(txtfile);  
4.         PrintWriter pw = new PrintWriter(fos,true);  
5.         String s = "";  
6.         File[] files = new File(path).listFiles();  
7.         for (File file : files)   
8.             pw.println("neg/"+file.getName());  
9.               
10.           

生成后删除最后一行的带有(neg.txt)的内容，让负样本资源记录文件内容如下类似所示：


处理好后，将negtxt 移动到上一级文件夹
得到如图所示文件夹结构：


5. 使用opencv提供的opencv_createsamples.exe程序生成样本vec文件，新建批处理文件：createsamples.bat 内容如下：

[python]

view plain copy

1. opencv_createsamples.exe -vec pos.vec -info pos.txt -num 25 -w 40 -h 40  
2. pause  

说明：25是正样本图片的数量   40 40 是正样本图片的宽高
这些参数的详细解释：http://www.opencv.org.cn/opencvdoc/2.3.2/html/doc/user_guide/ug_traincascade.html
运行后会生成 pos.vec文件

6. 使用opencv提供的opencv_traincascade.exe程序训练分类器，新建xml文件夹，再新建批处理文件：LBP_train.bat 内容如下：

[python]

view plain copy

1. opencv_traincascade.exe -data xml -vec pos.vec -bg neg.txt -numPos 25 -numNeg 666 -numStages 10 -w 40 -h 40 -minHitRate 0.999 -maxFalseAlarmRate 0.2 -weightTrimRate 0.95 -featureType LBP  
2. pause  

说明： 25是正样本图片的数量   666是负样本图片的数量   numNeg是层级数  40 40是训练样本的宽高 ..... 具体参数解释请查看文档：http://www.opencv.org.cn/opencvdoc/2.3.2/html/doc/user_guide/ug_traincascade.html
运行后会在xml文件夹生成如下文件：

其中cascade.xml是我们需要使用的分类器

四 . 测试训练好的分类器

[python]

view plain copy

1. ''''' 
2. Created on 2018年2月2日 
3. 实时人脸检测 
4. @author: nuohy 
5. '''  
6. import cv2  
7.   
8. # 加载opencv自带的人脸分类器  
9. # faceCascade = cv2.CascadeClassifier("haarcascade_frontalface_alt2.xml")  
10. # faceCascade.load('E:/python/opencv/opencv/sources/data/haarcascades/haarcascade_frontalface_alt2.xml')  
11.   
12. faceCascade = cv2.CascadeClassifier("cascade.xml")  
13. faceCascade.load('E:/tools/python/eclipse/work/pythonTest/demo/0202/img/train/tongue/xml/cascade.xml')  
14.   
15. cap = cv2.VideoCapture(0)  
16. flag = 0  
17. timeF = 10  
18. while True:  
19.     flag+=1  
20.     ret, frame = cap.read()  
21.     img = frame.copy()  
22.     gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)  
23.     rect = faceCascade.detectMultiScale(  
24.         gray,  
25.         scaleFactor=1.15,  
26.         minNeighbors=3,  
27.         minSize=(3,3),  
28.         flags = cv2.IMREAD_GRAYSCALE  
29.     )  
30.     for (x, y, w, h) in rect:  
31.         cv2.rectangle(frame, (x, y), (x+w, y+h), (0, 255, 0), 2)  
32.         #识别到物体后进行裁剪保存  
33.         #jiequ = img[x:(x+w), y:(y+h)]  
34.         #cv2.imwrite('E://tools//python//eclipse//work//pythonTest//demo//0202//img//save//'+str(flag) + '.jpg',jiequ) #save as jpg  
35.   
36.     #读取到保存图片  
37. #     if(flag%timeF==0):  
38. #         cv2.imwrite('E://tools//python//eclipse//work//pythonTest//demo//0202//img//save//'+str(flag) + '.jpg',frame) #save as jpg  
39.   
40.   
41.     cv2.imshow('frame', frame)  
42.     if cv2.waitKey(1) & 0xFF == ord('q'):  
43.         break  
44. cap.release()  
45. cv2.destroyAllWindows()  

 效果图如下所示：