python adaboost的简单实现

Posted 2022-12-15 阳光玻璃杯

初学adaboost,自己尝试着写了下adaboost的实现，这个实现以几个简单的数字作为训练样本，当然，这些数字是带标签的。然后尝试着使用adaboost对其分类。对于10个带标签的数字，分类他们只需要3个左右的弱分类器级联，组成一个强分类器就可以完全正确的分类。如果代码本身没有bug的话，adaboost的表现的确惊艳。
另外，pathon也是初学，很多的编程思路和c,c++类似，总之，各方面有待提高。但是因为代码能很好的分类样本，其结果还是令人兴奋的。
adaboost的教程非常多了，再次就不多做废话了。
一下是完整的代码。python是3.5.2版本的，如果版本没什么问题，粘贴复制应该就可以运行。

import cv2
import numpy as np
import math
import matplotlib.pyplot as plt

def buildDatasAndLables():
    data =  [23,12,3,54,89,2,43,7,45,26]
    label = [1, 1,-1,-1,-1,1,1,  -1, -1,1,]
    return (data,label)

def calWeakClassfyOuput(input,weakClassy):
    # 在期望范围的数为1，否则为-1
    if weakClassy[0] == "left":
        # left的时候，如果小于阈值，则输出1，否则，输出0
        if input < weakClassy[1] :
            return 1
        elif input >= weakClassy[1]:
            return -1
    elif weakClassy[0] == "right":
        # right的时候，如果大于阈值，则输出1，否则，输出0
        if input > weakClassy[1] :
            return 1
        elif input <= weakClassy[1]:
            return -1

#训练弱分类器
def trainWeakClassfy(data,label,W):
    #训练若分类器的方式：找到一个阈值，把data分成两部分，使得错误率最小
    weakClassy = []
    #将每个data中的数据作为阈值，判断以该值作为阈值的误差率，这样需要判断len(data)次
    for m in data:
        for direct in ["left","right"]:
            i = 0
            error = 0
            for mm in data:
                #在期望范围的数为1，否则为-1
                if direct == "left":
                    #left的时候，如果小于阈值，则对应的label应该为1，如果为-1,则错了，需要增加错误率
                    if mm < m and label[i]==-1:
                        error += W[i]
                    elif mm >= m and label[i]==1:
                        error += W[i]
                elif direct == "right":
                    # right的时候，如果大于阈值，则对应的label应该为1，如果为-1,则错了，需要增加错误率
                    if mm > m and label[i]==-1:
                        error += W[i]
                    elif mm <= m and label[i]==1:
                        error += W[i]
                i += 1
            weakClassy.append([direct,m,error[0]])
    #从所有的弱分类器中选择出错误率最低的
    bestWeakClassfy = []
    for classfy in weakClassy:
        if not bestWeakClassfy:
            bestWeakClassfy = classfy
        else:
            if classfy[2]<bestWeakClassfy[2]:
                bestWeakClassfy = classfy
    return bestWeakClassfy





def adaboostTrain(desAccuracy,maxWeakClassfyNum):
    #首先获取训练数据
    data,label = buildDatasAndLables()
    #初始化权重为1/n
    W = np.ones((len(data),1))/len(data)
    weakClassfys = []
    accuracy = 0
    for num in range(maxWeakClassfyNum):
        #首先训练弱分类器
        weakClassfy = trainWeakClassfy(data, label, W)
        #其次，计算该分类器的话语权
        weight = 0.5*math.log(((1-weakClassfy[2])/weakClassfy[2]))
        print("weight",weight)
        print("weakClassfy",weakClassfy)
        weakClassfy.append(weight)
        weakClassfys.append(weakClassfy)

        #然后更新训练样本的权重
        midW = np.zeros(W.shape)
        for i in range(len(W)):
            midW[i] = W[i]*math.exp(-calWeakClassfyOuput(data[i],weakClassfy)*label[i]*weight)
        Zt = np.sum(midW)
        for i in range(len(W)):
            W[i] = midW[i]/Zt
        #左右检验输出是否达标
        i = 0
        accuracy = 0
        for d in data:
            result = 0
            for classfy in weakClassfys:
                result += classfy[3]*calWeakClassfyOuput(d,classfy)
            if result > 0 :
                result = 1
            else:
                result = -1
            if result == label[i]:
                accuracy += 1/len(data)
            i += 1
        print("accuracy",accuracy)
        print("num",num)
        if accuracy >= desAccuracy:
            break

adaboostTrain(0.98,10)

结果如下：

weight 0.6931471805599453
weakClassfy ['left', 45, 0.20000000000000001]
accuracy 0.7999999999999999
num 0
weight 0.5493061443340549
weakClassfy ['left', 3, 0.25]
accuracy 0.7999999999999999
num 1
weight 0.8047189562170503
weakClassfy ['right', 7, 0.16666666666666666]
accuracy 0.9999999999999999
num 2