如何用OpenCV训练自己的分类器

Posted 2023-03-04

首先，需要说明的是，OpenCV自带的haar training提取的特征是haar特征 分类器是AdaBoost级联分类器（如需了解Adaboost算法， 。所谓的级联分类器，就是将若干的简单的分量分类器（可以理解为一般的普通分类器）依次串联起来，最终的检测分类结果，要依次通过所有的分量分类器才能算是一个有效的检测分类结果。否则，就认为当前检测区域内没有我们需要找的目标。
利用OpenCV自带的haar training程序训练一个分类器，需要经过以下几个步骤：
（1）收集训练样本：
训练样本包括正样本和负样本。正样本，通俗点说，就是图片中只有你需要的目标。而负样本的图片只要其中不含有目标就可以了。但需要说明的是，负样本也并非随便选取的。例如，你需要检测的目标是汽车，那么正样本就应该是仅仅含有汽车的图片，而负样本显然不能是一些包含天空的，海洋的，风景的图片。因为你最终训练分类器的目的是检测汽车，而汽车应该出现在马路上。也就是说，分类器最终检测的图片应该是那些包含马路，交通标志，建筑物，广告牌，汽车，摩托车，三轮车，行人，自行车等在内的图片。很明显，这里的负样本应该是包含摩托车、三轮车、自行车、行人、路面、灌木丛、花草、交通标志、广告牌等。
另外，需要提醒的是，adaboost方法也是机器学习中的一个经典算法，而机器学习算法的前提条件是，测试样本和训练样本独立同分布。所谓的独立同分布，可以简单理解为：训练样本要和最终的应用场合非常接近或者一致。否则，基于机器学习的算法并不能保证算法的有效性。此外，足够的训练样本（至少得几千张正样本、几千张负样本）也是保证训练算法有效性的一个前提条件。
这里，假设所有的正样本都放在f:/pos文件夹下，所有的负样本都放在f:/neg文件夹下；

（2）对所有的正样本进行尺寸归一化：
上一步收集到的正样本，有很多的尺寸大小，有的是200*300，有的是500*800...尺寸归一化的目的，就是把所有的图片都缩放到同一大小。比如，都缩放到50*60的大小。

（3）生成正样本描述文件：
所谓的正样本描述文件，其实就是一个文本文件，只不过，很多人喜欢将这个文件的后缀改成.dat而已。正样本描述文件中的内容包括：文件名 目标个数 目标在图片中的位置（x,y,width,height）
典型的正样本描述文件如下所示：
0.jpg 1 0 0 30 40
1.jpg 1 0 0 30 40
2.jpg 1 0 0 30 40
.....
不难发现，正样本描述文件中，每一个正样本占一行，每一行以正样本图片开头，后面紧跟着该图片中正样本的数量（通常为1），以及正样本在图片中的位置
假如，f:\\pos文件夹下有5000个正样本图片，每个图片中仅有一个目标。那么，我们可以写程序（遍历文件夹中的所有图片文件，将文件名写入到文件中，将正样本在图片中的位置，大小都写入文件中）生成一个pos.dat文件作为正样本描述文件。

（4）创建正样本vec文件
由于haarTraining训练的时候需要输入的正样本是vec文件，所以需要使用createsamples程序来将正样本转换为vec文件。
打开OpenCV安装目录下bin文件夹里面的名为createSamples（新版本的OpenCV里面改名为opencv_createSamples）的可执行程序。需要提醒的是，该程序应该通过命令行启动（可以参考我的另一篇博客：http://blog.csdn.net/carson2005/article/details/6704589 ）。并设置正样本所在的路径以及生成的正样本文件保存路劲（例如：f:\\pos\\pos.vec）。
Createsamples程序的命令行参数：
命令行参数：
－vec <vec_file_name>
训练好的正样本的输出文件名。
－img<image_file_name>
源目标图片（例如：一个公司图标）
－bg<background_file_name>
背景描述文件。
－num<number_of_samples>
要产生的正样本的数量，和正样本图片数目相同。
－bgcolor<background_color>
背景色（假定当前图片为灰度图）。背景色制定了透明色。对于压缩图片，颜色方差量由bgthresh参数来指定。则在bgcolor－bgthresh和bgcolor＋bgthresh中间的像素被认为是透明的。
－bgthresh<background_color_threshold>
－inv
如果指定，颜色会反色
－randinv
如果指定，颜色会任意反色
－maxidev<max_intensity_deviation>
背景色最大的偏离度。
－maxangel<max_x_rotation_angle>
－maxangle<max_y_rotation_angle>，
－maxzangle<max_x_rotation_angle>
最大旋转角度，以弧度为单位。
－show
如果指定，每个样本会被显示出来，按下"esc"会关闭这一开关，即不显示样本图片，而创建过程继续。这是个有用的debug选项。
－w<sample_width>
输出样本的宽度（以像素为单位）
－h《sample_height》
输出样本的高度，以像素为单位。

（5） 创建负样本描述文件
在保存负样本的文件夹下生成一个负样本描述文件，具体步骤同（3），此处不再赘叙；

（6）进行样本训练
该步骤通过调用OpenCV\\bin目录下的haartraining程序(新版本的opencv改名为opencv_haartraining)来完成。其中，Haartraining的命令行参数为：
－data<dir_name>
存放训练好的分类器的路径名。
－vec<vec_file_name>
正样本文件名（由trainingssamples程序或者由其他的方法创建的）
－bg<background_file_name>
背景描述文件。
－npos<number_of_positive_samples>，
－nneg<number_of_negative_samples>
用来训练每一个分类器阶段的正/负样本。合理的值是：nPos = 7000;nNeg = 3000
－nstages<number_of_stages>
训练的级联分类器层数。
－nsplits<number_of_splits>
决定用于阶段分类器的弱分类器。如果1，则一个简单的stump classifier被使用。如果是2或者更多，则带有number_of_splits个内部节点的CART分类器被使用。
－mem<memory_in_MB>
预先计算的以MB为单位的可用内存。内存越大则训练的速度越快。
－sym（default）
－nonsym
指定训练的目标对象是否垂直对称。垂直对称提高目标的训练速度。例如，正面部是垂直对称的。
－minhitrate《min_hit_rate》
每个阶段分类器需要的最小的命中率。总的命中率为min_hit_rate的number_of_stages次方。
－maxfalsealarm<max_false_alarm_rate>
没有阶段分类器的最大错误报警率。总的错误警告率为max_false_alarm_rate的number_of_stages次方。
－weighttrimming<weight_trimming>
指定是否使用权修正和使用多大的权修正。一个基本的选择是0.9
－eqw
－mode<basic(default)|core|all>
选择用来训练的haar特征集的种类。basic仅仅使用垂直特征。all使用垂直和45度角旋转特征。
－w《sample_width》
－h《sample_height》
训练样本的尺寸，（以像素为单位）。必须和训练样本创建的尺寸相同。
一个训练分类器的例子：
"D:\\Program Files\\OpenCV\\bin\\haartraining.exe" -data data\\cascade -vec data\\pos.vec -bg negdata\\negdata.dat -npos 49 -nneg 49 -mem 200 -mode ALL -w 20 -h 20
训练结束后，会在目录data下生成一些子目录，即为训练好的分类器。
（7） 生成xml文件
上一步在进行haartraining的时候，会在data目录下生成一些目录及txt文件，我们需要调用opencv\\bin\\haarconv.exe将这些txt文件转换为xml文件，也就是所谓的分类器。

至此，分类器的训练工作已完成。剩下的，就是在程序中加载xml文件，并调用相应的函数接口来实现分类检测的作用了。 参考技术A OpenCV学习笔记（三）人脸检测的代码分析OpenCV学习笔记（三）人脸检测的代码分析一、预备知识：1、动态内存存储及操作函数CvMemStoragetypedef struct CvMemStorage struct CvMemBlock* bottom;/* first allocated block */ struct CvMemBlock* top; /* the current memory block - top of the stack */ struct CvMemStorage* parent; /* borrows new blocks from */ int block_size; /* block size */ int free_space; /* free space in the top block (in bytes) */ CvMemStorage;内存存储器是一个可用来存储诸如序列，轮廓，图形,子划分等动态增长数据结构的底层结构。它是由一系列以同等大小的内存块构成，呈列表型 ---bottom 域指的是列首，top 域指的是当前指向的块但未必是列尾.在bottom和top之间所有的块(包括bottom, 不包括top）被完全占据了空间；在 top和列尾之间所有的块（包括块尾，不包括top)则是空的；而top块本身则被占据了部分空间 -- free_space 指的是top块剩余的空字节数。新分配的内存缓冲区（或显示的通过 cvMemStorageAlloc 函数分配，或隐示的通过 cvSeqPush, cvGraphAddEdge等高级函数分配）总是起始于当前块（即top块)的剩余那部分，如果剩余那部分能满足要求（够分配的大小）。分配后，free_space 就减少了新分配的那部分内存大小，外加一些用来保存适当列型的附加大小。当top块的剩余空间无法满足被分配的块（缓冲区）大小时，top块的下一个存储块被置为当前块（新的top块） -- free_space 被置为先前分配的整个块的大小。如果已经不存在空的存储块（即：top块已是列尾），则必须再分配一个新的块（或从parent那继承,见 cvCreateChildMemStorage)并将该块加到列尾上去。于是，存储器（memory storage)就如同栈（Stack)那样, bottom指向栈底，(top, free_space)对指向栈顶。栈顶可通过 cvSaveMemStoragePos保存，通过 cvRestoreMemStoragePos 恢复指向， 通过 cvClearStorage 重置。CvMemBlock内存存储块结构typedef struct CvMemBlock struct CvMemBlock* prev; struct CvMemBlock* next; CvMemBlock;CvMemBlock 代表一个单独的内存存储块结构。 内存存储块中的实际数据存储在 header块 之后(即：存在一个头指针 head 指向的块 header ，该块不存储数据）,于是，内存块的第 i 个字节可以通过表达式 ((char*)(mem_block_ptr+1))[i] 获得。然而，通常没必要直接去获得存储结构的域。CvMemStoragePos内存存储块地址typedef struct CvMemStoragePos CvMemBlock* top; int free_space; CvMemStoragePos;该结构（如以下所说）保存栈顶的地址，栈顶可以通过 cvSaveMemStoragePos 保存，也可以通过 cvRestoreMemStoragePos 恢复。________________________________________cvCreateMemStorage创建内存块CvMemStorage* cvCreateMemStorage( int block_size=0 ); block_size：存储块的大小以字节表示。如果大小是 0 byte, 则将该块设置成默认值 当前默认大小为64k.函数 cvCreateMemStorage 创建一内存块并返回指向块首的指针。起初，存储块是空的。头部（即：header)的所有域值都为 0，除了 block_size 外.________________________________________cvCreateChildMemStorage创建子内存块CvMemStorage* cvCreateChildMemStorage( CvMemStorage* parent );parent 父内存块函数 cvCreateChildMemStorage 创建一类似于普通内存块的子内存块，除了内存分配/释放机制不同外。当一个子存储块需要一个新的块加入时，它就试图从parent 那得到这样一个块。如果 parent 中 还未被占据空间的那些块中的第一个块是可获得的，就获取第一个块（依此类推），再将该块从 parent 那里去除。如果不存在这样的块，则 parent 要么分配一个，要么从它自己 parent (即：parent 的 parent) 那借个过来。换句话说，完全有可能形成一个链或更为复杂的结构，其中的内存存储块互为 child/ parent 关系（父子关系）。当子存储结构被释放或清除，它就把所有的块还给各自的 parent. 在其他方面，子存储结构同普通存储结构一样。子存储结构在下列情况中是非常有用的。想象一下，如果用户需要处理存储在某个块中的动态数据，再将处理的结果存放在该块中。在使用了最简单的方法处理后，临时数据作为输入和输出数据被存放在了同一个存储块中，于是该存储块看上去就类似下面处理后的样子： Dynamic data processing without using child storage. 结果，在存储块中，出现了垃圾（临时数据）。然而，如果在开始处理数据前就先建立一个子存储块，将临时数据写入子存储块中并在最后释放子存储块，那么最终在 源/目的存储块 （source / destination storage) 中就不会出现垃圾, 于是该存储块看上去应该是如下形式：Dynamic data processing using a child storage.cvReleaseMemStorage释放内存块void cvReleaseMemStorage( CvMemStorage** storage );storage: 指向被释放了的存储块的指针函数 cvReleaseMemStorage 释放所有的存储（内存）块 或者 将它们返回给各自的 parent（如果需要的话）。 接下来再释放 header块（即：释放头指针 head 指向的块 = free(head)）并清除指向该块的指针（即：head = NULL)。在释放作为 parent 的块之前，先清除各自的 child 块。cvClearMemStorage清空内存存储块void cvClearMemStorage( CvMemStorage* storage );storage:存储存储块函数 cvClearMemStorage 将存储块的 top 置到存储块的头部（注：清空存储块中的存储内容）。该函数并不释放内存（仅清空内存）。假使该内存块有一个父内存块（即：存在一内存块与其有父子关系），则函数就将所有的块返回给其 parent.cvMemStorageAlloc在存储块中分配以内存缓冲区void* cvMemStorageAlloc( CvMemStorage* storage, size_t size );storage：内存块. size：缓冲区的大小.函数 cvMemStorageAlloc 在存储块中分配一内存缓冲区。该缓冲区的大小不能超过内存块的大小，否则就会导致运行时错误。缓冲区的地址被调整为CV_STRUCT_ALIGN 字节 （当前为 sizeof(double)). cvMemStorageAllocString在存储块中分配一文本字符串typedef struct CvString int len; char* ptr;CvString;CvString cvMemStorageAllocString( CvMemStorage* storage, const char* ptr, int len=-1 );storage：存储块ptr：字符串len：字符串的长度（不计算'\0'）。如果参数为负数，函数就计算该字符串的长度。函数 cvMemStorageAlloString 在存储块中创建了一字符串的拷贝。它返回一结构，该结构包含字符串的长度（该长度或通过用户传递，或通过计算得到）和指向被拷贝了的字符串的指针。cvSaveMemStoragePos保存内存块的位置（地址）void cvSaveMemStoragePos( const CvMemStorage* storage, CvMemStoragePos* pos );storage：内存块. pos：内存块顶部位置。函数 cvSaveMemStoragePos 将存储块的当前位置保存到参数 pos 中。 函数 cvRestoreMemStoragePos 可进一步获取该位置（地址）。cvRestoreMemStoragePos恢复内存存储块的位置void cvRestoreMemStoragePos( CvMemStorage* storage, CvMemStoragePos* pos );storage：内存块. pos：新的存储块的位置函数 cvRestoreMemStoragePos 通过参数 pos 恢复内存块的位置。该函数和函数 cvClearMemStorage 是释放被占用内存块的唯一方法。注意：没有什么方法可去释放存储块中被占用的部分内存。2、分类器结构及操作函数：CvHaarFeature#define CV_HAAR_FEATURE_MAX 3typedef struct CvHaarFeature int tilted; struct CvRect r; float weight; rect[CV_HAAR_FEATURE_MAX]; CvHaarFeature;一个 harr 特征由 2－3 个具有相应权重的矩形组成titled ：/* 0 means up-right feature, 1 means 45--rotated feature */rect[CV_HAAR_FEATURE_MAX]; /* 2-3 rectangles with weights of opposite signs and with absolute values inversely proportional to the areas of the rectangles. if rect[2].weight !=0, then the feature consists of 3 rectangles, otherwise it consists of 2 */CvHaarClassifiertypedef struct CvHaarClassifier int count; CvHaarFeature* haar_feature; float* threshold; int* left; int* right; float* alpha;CvHaarClassifier;/* a single tree classifier (stump in the simplest case) that returns the response for the feature at the particular image location (i.e. pixel sum over subrectangles of the window) and gives out a value depending on the responce */int count; /* number of nodes in the decision tree */ /* these are "parallel" arrays. Every index i corresponds to a node of the decision tree (root has 0-th index).left[i] - index of the left child (or negated index if the left child is a leaf)right[i] - index of the right child (or negated index if the right child is a leaf)threshold[i] - branch threshold. if feature responce is <= threshold, left branch is chosen, otherwise right branch is chosed.alpha[i] - output value correponding to the leaf. */CvHaarStageClassifiertypedef struct CvHaarStageClassifier int count; /* number of classifiers in the battery */ float threshold; /* threshold for the boosted classifier */ CvHaarClassifier* classifier; /* array of classifiers */ /* these fields are used for organizing trees of stage classifiers, rather than just stright cascades */ int next; int child; int parent;CvHaarStageClassifier;/* a boosted battery of classifiers(=stage classifier): the stage classifier returns 1 if the sum of the classifiers' responces is greater than threshold and 0 otherwise */int count; /* number of classifiers in the battery */float threshold; /* threshold for the boosted classifier */CvHaarClassifier* classifier; /* array of classifiers *//* these fields are used for organizing trees of stage classifiers, rather than just stright cascades */CvHaarClassifierCascadetypedef struct CvHidHaarClassifierCascade CvHidHaarClassifierCascade;typedef struct CvHaarClassifierCascade int flags; int count; CvSize orig_window_size; CvSize real_window_size; double scale; CvHaarStageClassifier* stage_classifier; CvHidHaarClassifierCascade* hid_cascade;CvHaarClassifierCascade;/* cascade or tree of stage classifiers */int flags; /* signature */int count; /* number of stages */CvSize orig_window_size; /* original object size (the cascade is trained for) *//* these two parameters are set by cvSetImagesForHaarClassifierCascade */CvSize real_window_size; /* current object size */double scale; /* current scale */CvHaarStageClassifier* stage_classifier; /* array of stage classifiers */CvHidHaarClassifierCascade* hid_cascade; /* hidden optimized representation of the cascade, created by cvSetImagesForHaarClassifierCascade */所有的结构都代表一个级联boosted Haar分类器。级联有下面的等级结构： Cascade: Stage1: Classifier11: Feature11 Classifier12: Feature12 ... Stage2: Classifier21: Feature21 ... ...整个等级可以手工构建，也可以利用函数cvLoadHaarClassifierCascade从已有的磁盘文件或嵌入式基中导入。 特征检测用到的函数：cvLoadHaarClassifierCascade从文件中装载训练好的级联分类器或者从OpenCV中嵌入的分类器数据库中导入CvHaarClassifierCascade* cvLoadHaarClassifierCascade( const char* directory, CvSize orig_window_size );directory ：训练好的级联分类器的路径 orig_window_size：级联分类器训练中采用的检测目标的尺寸。因为这个信息没有在级联分类器中存储，所有要单独指出。 函数 cvLoadHaarClassifierCascade 用于从文件中装载训练好的利用海尔特征的级联分类器，或者从OpenCV中嵌入的分类器数据库中导入。分类器的训练可以应用函数haartraining(详细察看opencv/apps/haartraining)函数 已经过时了。现在的目标检测分类器通常存储在 XML 或 YAML 文件中,而不是通过路径导入。从文件中导入分类器，可以使用函数 cvLoad 。cvReleaseHaarClassifierCascade释放haar classifier cascade。void cvReleaseHaarClassifierCascade( CvHaarClassifierCascade** cascade );cascade ：双指针类型指针指向要释放的cascade. 指针由函数声明。 函数 cvReleaseHaarClassifierCascade 释放cascade的动态内存，其中cascade的动态内存或者是手工创建，或者通过函数 cvLoadHaarClassifierCascade 或 cvLoad分配。 cvHaarDetectObjects检测图像中的目标typedef struct CvAvgCompCvRect rect; /* bounding rectangle for the object (average rectangle of a group) */int neighbors; /* number of neighbor rectangles in the group */CvAvgComp;CvSeq* cvHaarDetectObjects( const CvArr* image,CvHaarClassifierCascade* cascade, CvMemStorage* storage, double scale_factor=1.1, int min_neighbors=3, int flags=0, CvSize min_size=cvSize(0,0) );image 被检图像 cascade harr 分类器级联的内部标识形式 storage 用来存储检测到的一序列候选目标矩形框的内存区域。 scale_factor 在前后两次相继的扫描中，搜索窗口的比例系数。例如1.1指将搜索窗口依次扩大10%。 min_neighbors 构成检测目标的相邻矩形的最小个数(缺省－1)。如果组成检测目标的小矩形的个数和小于min_neighbors-1 都会被排除。如果min_neighbors 为 0, 则函数不做任何操作就返回所有的被检候选矩形框，这种设定值一般用在用户自定义对检测结果的组合程序上。 flags 操作方式。当前唯一可以定义的操作方式是 CV_HAAR_DO_CANNY_PRUNING。如果被设定，函数利用Canny边缘检测器来排除一些边缘很少或者很多的图像区域，因为这样的区域一般不含被检目标。人脸检测中通过设定阈值使用了这种方法，并因此提高了检测速度。 min_size 检测窗口的最小尺寸。缺省的情况下被设为分类器训练时采用的样本尺寸(人脸检测中缺省大小是~20×20)。 函数 cvHaarDetectObjects 使用针对某目标物体训练的级联分类器在图像中找到包含目标物体的矩形区域，并且将这些区域作为一序列的矩形框返回。函数以不同比例大小的扫描窗口对图像进行几次搜索(察看cvSetImagesForHaarClassifierCascade)。 每次都要对图像中的这些重叠区域利用cvRunHaarClassifierCascade进行检测。 有时候也会利用某些继承（heuristics）技术以减少分析的候选区域，例如利用 Canny 裁减 （prunning）方法。 函数在处理和收集到候选的方框(全部通过级联分类器各层的区域)之后，接着对这些区域进行组合并且返回一系列各个足够大的组合中的平均矩形。调节程序中的缺省参数(scale_factor=1.1, min_neighbors=3, flags=0)用于对目标进行更精确同时也是耗时较长的进一步检测。为了能对视频图像进行更快的实时检测，参数设置通常是：scale_factor=1.2, min_neighbors=2, flags=CV_HAAR_DO_CANNY_PRUNING, min_size= (例如, 对于视频会议的图像区域).cvSetImagesForHaarClassifierCascade为隐藏的cascade(hidden cascade)指定图像void cvSetImagesForHaarClassifierCascade( CvHaarClassifierCascade* cascade, const CvArr* sum, const CvArr* sqsum, const CvArr* tilted_sum, double scale );cascade 隐藏 Harr 分类器级联 （Hidden Haar classifier cascade）, 由函数 cvCreateHidHaarClassifierCascade生成 sum 32－比特，单通道图像的积分图像（Integral (sum) 单通道 image of 32-比特 integer format）. 这幅图像以及随后的两幅用于对快速特征的评价和亮度/对比度的归一化。 它们都可以利用函数 cvIntegral从8-比特或浮点数 单通道的输入图像中得到。 sqsum 单通道64比特图像的平方和图像 tilted_sum 单通道32比特整数格式的图像的倾斜和（Tilted sum） scale cascade的窗口比例. 如果 scale=1, 就只用原始窗口尺寸检测 (只检测同样尺寸大小的目标物体) - 原始窗口尺寸在函数cvLoadHaarClassifierCascade中定义 (在 ""中缺省为24x24), 如果scale=2, 使用的窗口是上面的两倍 (在face cascade中缺省值是48x48 )。 这样尽管可以将检测速度提高四倍，但同时尺寸小于48x48的人脸将不能被检测到。 函数 cvSetImagesForHaarClassifierCascade 为hidden classifier cascade 指定图像 and/or 窗口比例系数。 如果图像指针为空，会继续使用原来的图像(i.e. NULLs 意味这"不改变图像")。比例系数没有 "protection" 值,但是原来的值可以通过函数 cvGetHaarClassifierCascadeScale 重新得到并使用。这个函数用于对特定图像中检测特定目标尺寸的cascade分类器的设定。函数通过cvHaarDetectObjects进行内部调用，但当需要在更低一层的函数cvRunHaarClassifierCascade中使用的时候，用户也可以自行调用。 cvRunHaarClassifierCascade在给定位置的图像中运行 cascade of boosted classifier int cvRunHaarClassifierCascade( CvHaarClassifierCascade* cascade, CvPoint pt, int start_stage=0 );cascade Haar 级联分类器 pt 待检测区域的左上角坐标。待检测区域大小为原始窗口尺寸乘以当前设定的比例系数。当前窗口尺寸可以通过cvGetHaarClassifierCascadeWindowSize重新得到。 start_stage 级联层的初始下标值（从0开始计数）。函数假定前面所有每层的分类器都已通过。这个特征通过函数cvHaarDetectObjects内部调用，用于更好的处理器高速缓冲存储器。 函数 cvRunHaarHaarClassifierCascade 用于对单幅图片的检测。在函数调用前首先利用 cvSetImagesForHaarClassifierCascade设定积分图和合适的比例系数 (=> 窗口尺寸)。当分析的矩形框全部通过级联分类器每一层的时返回正值(这是一个候选目标)，否则返回0或负值。二、例程分析：例子:利用级联的Haar classifiers寻找检测目标(e.g. faces).#include "cv.h"#include "highgui.h"//读取训练好的分类器。CvHaarClassifierCascade* load_object_detector( const char* cascade_path ) return (CvHaarClassifierCascade*)cvLoad( cascade_path );void detect_and_draw_objects( IplImage* image, CvHaarClassifierCascade* cascade, int do_pyramids ) IplImage* small_image = image; CvMemStorage* storage = cvCreateMemStorage(0); //创建动态内存 CvSeq* faces; int i, scale = 1; /* if the flag is specified, down-scale the 输入图像 to get a performance boost w/o loosing quality (perhaps) */ if( do_pyramids ) small_image = cvCreateImage( cvSize(image->width/2,image->height/2), IPL_DEPTH_8U, 3 ); cvPyrDown( image, small_image, CV_GAUSSIAN_5x5 );//函数 cvPyrDown 使用 Gaussian 金字塔分解对输入图像向下采样。首先它对输入图像用指定滤波器进行卷积，然后通过拒绝偶数的行与列来下采样图像。 scale = 2; /* use the fastest variant */ faces = cvHaarDetectObjects( small_image, cascade, storage, 1.2, 2, CV_HAAR_DO_CANNY_PRUNING ); /* draw all the rectangles */ for( i = 0; i faces->total; i++ ) /* extract the rectanlges only */ CvRect face_rect = *(CvRect*)cvGetSeqElem( faces, i, 0 ); cvRectangle( image, cvPoint(face_rect.x*scale,face_rect.y*scale), cvPoint((face_rect.x+face_rect.width)*scale, (face_rect.y+face_rect.height)*scale), CV_RGB(255,0,0), 3 ); if( small_image != image ) cvReleaseImage( &small_image ); cvReleaseMemStorage( &storage ); //释放动态内存/* takes image filename and cascade path from the command line */int main( int argc, char** argv ) IplImage* image; if( argc==3 && (image = cvLoadImage( argv[1], 1 )) != 0 ) CvHaarClassifierCascade* cascade = load_object_detector(argv[2]); detect_and_draw_objects( image, cascade, 1 ); cvNamedWindow( "test", 0 ); cvShowImage( "test", image ); cvWaitKey(0); cvReleaseHaarClassifierCascade( &cascade ); cvReleaseImage( &image ); return 0;

如何用OpenCV自带的adaboost程序训练并检测目标

 

 

http://www.cnblogs.com/easymind223/archive/2012/07/03/2574826.html

 

　　OpenCV自带的adaboost程序能够根据用户输入的正样本集与负样本集训练分类器，常用于人脸检测，行人检测等。它的默认特征采用了Haar,不支持其它特征。

Adaboost的原理简述：（原文）

每个Haar特征对应看一个弱分类器，但并不是任伺一个Haar特征都能较好的描述人脸灰度分布的某一特点，如何从大量的Haar特征中挑选出最优的Haar特征并制作成分类器用于人脸检测，这是AdaBoost算法训练过程所要解决的关键问题。

    Paul Viola和Michael Jones于2001年将Adaboost算法应用于人脸检测中,其基本思想是针对不同的训练集训练同一个分类器（弱分类器），然后把这些不同训练集上的得到的分类器联合起来，构成一个最终的强分类器。Adaboost 算法中不同的训练集是通过调整每个样本对应的权重来实现的。开始时，每个样本对应的权重是相同的，对于h1 分类错误的样本，加大其对应的权重； 而对于分类正确的样本， 降低其权重， 这样分错的样本就被突出出来，从而得到一个新的样本分布 U2 。在新的样本分布下，再次对弱分类器进行训练，得到弱分类器 h2 。依次类推，经过 T 次循环，得到 T 个弱分类器，把这 T 个弱分类器按一定的权重叠加（boost）起来，得到最终想要的强分类器。

     训练系统总体框架，由“ 训练部分”和 “ 补充部分”构成。依据系统框架，本文的训练系统可分为以下几个模块:
     (1)以样本集为输入，在给定的矩形特征原型下，计算并获得矩形特征集;
     (2)以特征集为输入，根据给定的弱学习算法，确定闽值，将特征与弱分类器一一对应，获得弱分类器集;
     (3)以弱分类器集为输入， 在训练检出率和误判率限制下， 使用A d a B o o s t 算法
挑选最优的弱分类器构成强分类器;
     (4)以强分类器集为输入，将其组合为级联分类器;
     (5)以非人脸图片集为输入，组合强分类器为临时的级联分类器，筛选并补充
非人脸样本。

训练样本的选择：
    训练样本要求是面部特写图像，图1是一簇训练样本，大小被归一化为24×24像素，其中正训练样本要求是面部特写图像，但是人脸形态千差万别，所以训练样本选取过程中要考虑到样本的多样性。负训练样本，大小被归一化为24×24像素，其中各样本不完全相同，分别具有一定的代表性。

训练过程分为3个步骤：首先需要提取Haar特征；然后将Haar特征转化成对应的弱分类器；最后从大量的弱分类器中迭代选择出最优弱分类器。
    (1)提取Haar特征

 

常用的Haar特征有4种，如图2所示。当然也可以在这4种特征的基础上设计出更多、更复杂的特征。以大小为24X24像素的训练样本为例，上述4种特征的总个数超过了160000个。这样庞大的数字给后续的迭代训练工作带来了庞大的计算量，直接导致AdaBoost算法训练过程极为费时，这恰恰是算法需要改进的关键问题之一o

    (2)生成弱分类器
    每一个Haar特征都对应着一个弱分类器，每一个弱分类器都是根据它所对应的Haar特征的参数来定义的。利用上述Haar特征的位置信息，对训练样本进行统计就可以得到对应的特征参数。AdaBoost算法中所训练的弱分类器是任何分类器，包括决策树，神经网络，隐马尔科夫模型，如果弱分类器是线性神经网络，那么AdaBoost算法每次将构造多层感知器的一个节点。

    (3)采用AdaBoost算法选取优化的弱分类器
    AdaBoost算法训练过程就是挑选最优弱分类器，并赋予权重过程，图3是AdaBoost算法训练示意图。

 

用OpenCV自带的adaboost程序训练分类器：（原文在此，本文稍作修改）

新手FAQ

一篇类似的文章

 

重要！可能遇到的问题：

1.如果跑到某一个分类器时，几个小时也没有反应，而且显示不出训练百分比，这是因为你的负样本数量太少，或者负样本的尺寸太小，所有的负样本在这个分类器都被reject了，程序进入不了下一个循环，果断放弃吧。解决方法：负样本尽量要大一些，比如我的正样本是40*15，共300个,负样本是640*480，共500个。

2.读取样本时报错：Negative or too large argument of CvAlloc function，网上说这个错误是因为opencv规定单幅iplimage的内存分配不能超过10000，可是我的每个负样本都不会超过这个大小，具体原因不明。后来我把负样本的数量减少，尺寸加大，这个问题就解决了。

3.训练的过程可能经常出错，耐心下来不要着急，我在训练MRI分类器的时候失败了无数次。失败的时候有两件事可以做，第一，调整正负样本的数量，再试。第二，调整负样本的大小，祝大家好运。

 

一、简介
目标检测方法最初由Paul Viola [Viola01]提出，并由Rainer Lienhart [Lienhart02]对这一方法进行了改善。该方法的基本步骤为： 首先，利用样本（大约几百幅样本图片）的 harr 特征进行分类器训练，得到一个级联的boosted分类器。分类器中的"级联"是指最终的分类器是由几个简单分类器级联组成。在图像检测中，被检窗口依次通过每一级分类器， 这样在前面几层的检测中大部分的候选区域就被排除了，全部通过每一级分类器检测的区域即为目标区域。
　　分类器训练完以后，就可以应用于输入图像中的感兴趣区域的检测。检测到目标区域分类器输出为1，否则输出为0。为了检测整副图像，可以在图像中移动搜索窗口，检测每一个位置来确定可能的目标。 为了搜索不同大小的目标物体，分类器被设计为可以进行尺寸改变，这样比改变待检图像的尺寸大小更为有效。所以，为了在图像中检测未知大小的目标物体，扫描程序通常需要用不同比例大小的搜索窗口对图片进行几次扫描。
　　目前支持这种分类器的boosting技术有四种： Discrete Adaboost, Real Adaboost, Gentle Adaboost and Logitboost。"boosted" 即指级联分类器的每一层都可以从中选取一个boosting算法(权重投票)，并利用基础分类器的自我训练得到。
根据上面的分析，目标检测分为三个步骤：
1、 样本的创建
2、 训练分类器
3、 利用训练好的分类器进行目标检测。
二、样本创建
训练样本分为正例样本和反例样本，其中正例样本是指待检目标样本，反例样本指其它任意图片。
负样本
负样本可以来自于任意的图片，但这些图片不能包含目标特征。在用opencv自带的adaboost程序训练负样本时，负样本的大小不一定要与正样本相同。负样本由背景描述文件来描述。背景描述文件是一个文本文件，每一行包含了一个负样本图片的文件名（基于描述文件的相对路径）。该文件创建方法如下：

采用Dos命令生成样本描述文件。具体方法是在Dos下的进入你的图片目录，比如我的图片放在D:\\face\\posdata下，则：

按Ctrl+R打开Windows运行程序，输入cmd打开DOS命令窗口，输入d:回车，再输入cd D:\\face\\negdata进入图片路径，再次输入dir /b > negdata.dat，则会图片路径下生成一个negdata.dat文件，打开该文件将最后一行的negdata.dat删除，这样就生成了负样本描述文件。

正样本

对于正样本，通常的做法是先把所有正样本裁切好，并对尺寸做规整（即缩放至指定大小）。

由于HaarTraining训练时输入的正样本是vec文件，所以需要使用OpenCV自带的CreateSamples程序（在你所按照的opencv\\bin下，如果没有需要编译opencv\\apps\\HaarTraining\\make下的.dsw文件，注意要编译release版的）将准备好的正样本转换为vec文件。转换的步骤如下：

1) 制作一个正样本描述文件，用于描述正样本文件名（包括绝对路径或相对路径），正样本数目以及各正样本在图片中的位置和大小。典型的正样本描述文件如下：

posdata/1(10).bmp 1 1 1 23 23　　　　
posdata/1(11).bmp 1 1 1 23 23
posdata/1(12).bmp 1 1 1 23 23

不过你可以把描述文件放在你的posdata路径（即正样本路径）下，这样你就不需要加前面的相对路径了。同样它的生成方式可以用负样本描述文件的生成方法，最后用txt的替换工具将“bmp”全部替换成“bmp 1 1 1 23 23
”就可以了，如果你的样本图片多，用txt替换会导致程序未响应，你可以将内容拷到word下替换，然后再拷回来。bmp后面那五个数字分别表示图片个数，目标的起始位置及其宽高。这样就生成了正样本描述文件posdata.dat。

2) 运行CreateSamples程序。如果直接在VC环境下运行，可以在Project\\Settings\\Debug属性页的Program arguments栏设置运行参数。下面是一个运行参数示例：
-info D:\\face\\posdata\\posdata.dat -vec D:\\face\\pos.vec -num 50 -w 20 -h 20
表示有50个样本，样本宽20，高20，正样本描述文件为posdata.dat，结果输出到pos.vec。

或者在dos下输入：

"D:\\Program Files\\OpenCV\\bin\\createsamples.exe" -info "posdata\\posdata.dat" -vec data\\pos.vec -num 50 -w 20 -h 20
运行完了会d:\\face\\data下生成一个*.vec的文件。该文件包含正样本数目，宽高以及所有样本图像数据。

Createsamples程序的命令行参数：
命令行参数：
－vec <vec_file_name>
训练好的正样本的输出文件名。
－img<image_file_name>
源目标图片（例如：一个公司图标）
－bg<background_file_name>
背景描述文件。
－num<number_of_samples>
要产生的正样本的数量，和正样本图片数目相同。
－bgcolor<background_color>
背景色（假定当前图片为灰度图）。背景色制定了透明色。对于压缩图片，颜色方差量由bgthresh参数来指定。则在bgcolor－bgthresh和bgcolor＋bgthresh中间的像素被认为是透明的。
－bgthresh<background_color_threshold>
－inv
如果指定，颜色会反色
－randinv
如果指定，颜色会任意反色
－maxidev<max_intensity_deviation>
背景色最大的偏离度。
－maxangel<max_x_rotation_angle>
－maxangle<max_y_rotation_angle>，
－maxzangle<max_x_rotation_angle>
最大旋转角度，以弧度为单位。
－show
如果指定，每个样本会被显示出来，按下"esc"会关闭这一开关，即不显示样本图片，而创建过程继续。这是个有用的debug选项。
－w<sample_width>
输出样本的宽度（以像素为单位）
－h《sample_height》
输出样本的高度，以像素为单位。
到此第一步样本训练就完成了。恭喜你，你已经学会训练分类器的五成功力了，我自己学这个的时候花了我一天的时间，估计你几分钟就学会了吧。
三、训练分类器
样本创建之后，接下来要训练分类器，这个过程是由haartraining程序来实现的。该程序源码由OpenCV自带，且可执行程序在OpenCV安装目录的bin目录下。
Haartraining的命令行参数如下：
－data<dir_name>
存放训练好的分类器的路径名。
－vec<vec_file_name>
正样本文件名（由trainingssamples程序或者由其他的方法创建的）
－bg<background_file_name>
背景描述文件。
－npos<number_of_positive_samples>，
－nneg<number_of_negative_samples>
用来训练每一个分类器阶段的正/负样本。合理的值是：nPos = 7000;nNeg = 3000
－nstages<number_of_stages>
训练的阶段数。
－nsplits<number_of_splits>
决定用于阶段分类器的弱分类器。如果1，则一个简单的stump classifier被使用。如果是2或者更多，则带有number_of_splits个内部节点的CART分类器被使用。
－mem<memory_in_MB>
预先计算的以MB为单位的可用内存。内存越大则训练的速度越快。
－sym（default）
－nonsym
指定训练的目标对象是否垂直对称。垂直对称提高目标的训练速度。例如，正面部是垂直对称的。
－minhitrate《min_hit_rate》
每个阶段分类器需要的最小的命中率。总的命中率为min_hit_rate的number_of_stages次方。
－maxfalsealarm<max_false_alarm_rate>
没有阶段分类器的最大错误报警率。总的错误警告率为max_false_alarm_rate的number_of_stages次方。
－weighttrimming<weight_trimming>
指定是否使用权修正和使用多大的权修正。一个基本的选择是0.9
－eqw
－mode<basic(default)|core|all>
选择用来训练的haar特征集的种类。basic仅仅使用垂直特征。all使用垂直和45度角旋转特征。
－w《sample_width》
－h《sample_height》
训练样本的尺寸，（以像素为单位）。必须和训练样本创建的尺寸相同。
一个训练分类器的例子：
"D:\\Program Files\\OpenCV\\bin\\haartraining.exe"   -data data\\cascade -vec data\\pos.vec -bg negdata\\negdata.dat -npos 49 -nneg 49 -mem 200 -mode ALL -w 20 -h 20

训练结束后，会在目录data下生成一些子目录，即为训练好的分类器。

恭喜你，你已经学会训练分类器的九成功力了。

四：利用训练好的分类器进行目标检测。

这一步需要用到performance.exe，该程序源码由OpenCV自带，且可执行程序在OpenCV安装目录的bin目录下。

performance.exe -data data/cascade -info posdata/test.dat -w 20 -h 20 -rs 30

performance的命令行参数如下：

Usage: ./performance
-data <classifier_directory_name>
-info <collection_file_name>
[-maxSizeDiff <max_size_difference = 1.500000>]
[-maxPosDiff <max_position_difference = 0.300000>]
[-sf <scale_factor = 1.200000>]
[-ni]
[-nos <number_of_stages = -1>]
[-rs <roc_size = 40>]
[-w <sample_width = 24>]
[-h <sample_height = 24>]

也可以用opencv的cvHaarDetectObjects函数进行检测：

CvSeq* faces = cvHaarDetectObjects( img, cascade, storage,1.1, 2, CV_HAAR_DO_CANNY_PRUNING,cvSize(40, 40) ); //3. 检测人脸
注：OpenCv的某些版本可以将这些目录中的分类器直接转换成xml文件。但在实际的操作中，haartraining程序却好像永远不会停止，而且没有生成xml文件，后来在OpenCV的yahoo论坛上找到一个haarconv的程序，才将分类器转换为xml文件，其中的原因尚待研究。

 

 

分类: 图像处理与模式识别

标签: opencv与c++, 图像处理与模式识别