机器学习:评价分类结果(实现混淆矩阵精准率召回率)

Posted volcao

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了机器学习:评价分类结果(实现混淆矩阵精准率召回率)相关的知识,希望对你有一定的参考价值。

一、实例

 1)构造极度偏差的数据

  • import numpy as np
    from sklearn import datasets
    
    digits = datasets.load_digits()
    X = digits.data
    y = digits.target.copy()
    
    # 构造极度偏斜的数据
    # y = digits.target:y 和 digits.target 指向的是同一组数据,此处修改 y 时,digits.target 也会一起被修改,因为赋值符号 ‘=‘ 没有进行数据的 copy;
    # 如果想不改变 digits.target 的数据,需要更改赋值方式:y = digits.target.copy()digits.target.copy();
    y[digits.target==9] = 1
    y[digits.target!=9] = 0
  1. y = digits.target:y 和 digits.target 指向的是同一组数据,此处修改 y 时,digits.target 也会一起被修改,因为赋值符号 ‘=‘ 没有进行数据的 copy;
  2. y = digits.target.copy():改变 y 的数据时,不会改变 digits.target 的数据;

 

 2)直接使用二分类算法分类预测

  • LogisticRegression() 模块使用默认参数
    from sklearn.model_selection import train_test_split
    
    X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=666)
    
    from sklearn.linear_model import LogisticRegression
    
    log_reg = LogisticRegression()
    log_reg.fit(X_train, y_train)
    
    log_reg.score(X_test, y_test)
    # 准确率:0.9755555555555555
  1. 由于数据是极度偏斜的,即使模型预测所有的样本的类型都是 0,准确度也能达到 0.9 左右;
  2. 准确度只能说明模型对每一个样本预测的准确程度,并不能真正能准确的找出类型为 1 的样本;
  3. 找出类型为 1 的样本才是业务的要求,精准全面的找出类型为 1 的样本才是算法模型要做的事,准确度并不能反映模型是否精准而全面的找出了类型为 1 的样本;(要根据业务最根本的目的设计算法,以及选择模型好坏的指标)

 

 3)使用精准率和召回率做为判断模型好坏的指标

  • 求混淆矩阵

    y_log_predict = log_reg.predict(X_test)
    
    def TN(y_true, y_predict):
        assert len(y_true) == len(y_predict)
        return np.sum((y_true == 0) & (y_predict == 0))
    
    def FP(y_true, y_predict):
        assert len(y_true) == len(y_predict)
        return np.sum((y_true == 0) & (y_predict == 1))
    
    def FN(y_true, y_predict):
        assert len(y_true) == len(y_predict)
        return np.sum((y_true == 1) & (y_predict == 0))
    
    def TP(y_true, y_predict):
        assert len(y_true) == len(y_predict)
        return np.sum((y_true == 1) & (y_predict == 1))
    
    def confusion_matrix(y_true, y_predict):
        return np.array([
            [TN(y_test, y_log_predict), FP(y_test, y_log_predict)],
            [FN(y_test, y_log_predict), TP(y_test, y_log_predict)]
        ])
    
    confusion_matrix(y_test, y_log_predict)
    # 混淆矩阵:array([[403, 2],
                    [9, 36]]

     

  • 求精准率

    def precision_score(y_true, y_predict):
        tp = TP(y_test, y_log_predict)
        fp = FP(y_test, y_log_predict)
        try:
            return tp / (tp + fp)
        except:
            return 0.0
        
    precision_score(y_test, y_log_predict)
    # 精准率:0.9473684210526315

     

  • 求召回率

    def recall_score(y_true, y_predict):
        tp = TP(y_test, y_log_predict)
        fn = FN(y_test, y_log_predict)
        # try...except:异常检测;
            # 没有异常,执行 try 后面的语句;
            # 出现异常,执行 except 后面的语句,
        try:
            return tp / (tp + fn)
        except:
            return 0.0
        
    recall_score(y_test, y_log_predict)
    # 召回率:0.8

     

 4)scikit-learn 中的混淆矩阵、精准率、召回率

  • 混淆矩阵、精准率、召回率,3 者的包都封装在了 sklearn.metrics 中,任何二分类算法都可以通过模块下对应的方法直接得到混淆矩阵、精准率、召回率;
  • 混淆矩阵

    from sklearn.metrics import confusion_matrix
    
    confusion_matrix(y_test, y_log_predict)
    # 混淆矩阵:array([[403, 2],
                      [9, 36]], dtype=int64)

     

  • 精准率

    from sklearn.metrics import precision_score
    
    precision_score(y_test, y_log_predict)
    # 精准率:0.9473684210526315

     

  • 召回率

    from sklearn.metrics import recall_score
    
    recall_score(y_test, y_log_predict)
    # 召回率:0.8

     

以上是关于机器学习:评价分类结果(实现混淆矩阵精准率召回率)的主要内容,如果未能解决你的问题,请参考以下文章

机器学习 评价分类结果 (下)

机器学习-分类评估方法(召回率ROC与混淆矩阵)

机器学习算法:分类评估方法

机器学习二分类模型评价指标:准确率召回率特异度等

混淆矩阵准确率精确率/查准率召回率/查全率F1值ROC曲线的AUC值

[机器学习与scikit-learn-51]:模型评估-图解分类模型的评估指标(准确率精确率召回率)与代码示例