机器学习第二周-模型评价指标（II）

Posted 2021-03-06 mindy-snail

Python代码实现

一·分类模型

    1.sklearn.metrics中包含常用的评价指标：   

#准确率
accuracy_score(y_true, y_pred, normalize=True, sample_weight=None)

 

   参数：

• y_true ：验证集
• y_pred ：分类器的返回值
• normalize：默认值为True，返回正确分类的比例；如果为False，返回正确分类的样本数

#精确率
precision_score(y_true, y_pred, labels=None, pos_label=1, average=’binary’, sample_weight=None)
#召回率
recall_score(y_true, y_pred, labels=None, pos_label=1, average=’binary’, sample_weight=None)
#F1
f1_score(y_true, y_pred, labels=None, pos_label=1, average=’binary’, sample_weight=None)

   参数：

• average : string, [None, ‘micro’, ‘macro’(default), ‘samples’, ‘weighted’]
• 将一个二分类matrics拓展到多分类或多标签问题时，我们可以将数据看成多个二分类问题的集合，每个类都是一个二分类。接着，我们可以通过跨多个分类计算每个二分类metrics得分的均值，这在一些情况下很有用。你可以使用average参数来指定。
• macro：计算二分类metrics的均值，为每个类给出相同权重的分值。当小类很重要时会出问题，因为该macro-averging方法是对性能的平均。另一方面，该方法假设所有分类都是一样重要的，因此macro-averaging方法会对小类的性能影响很大。
• weighted:对于不均衡数量的类来说，计算二分类metrics的平均，通过在每个类的score上进行加权实现。
• micro：给出了每个样本类以及它对整个metrics的贡献的pair（sample-weight），而非对整个类的metrics求和，它会每个类的metrics上的权重及因子进行求和，来计算整个份额。Micro-averaging方法在多标签（multilabel）问题中设置，包含多分类，此时，大类将被忽略。
• samples：应用在multilabel问题上。它不会计算每个类，相反，它会在评估数据中，通过计算真实类和预测类的差异的metrics，来求平均（sample_weight-weighted）
• average：average=None将返回一个数组，它包含了每个类的得分。

   接上篇文章的案例实践代码如下：

 1 # 读取相应的库
 2 from sklearn import datasets
 3 from sklearn.model_selection import train_test_split
 4 from sklearn.neighbors import KNeighborsClassifier
 5 import numpy as np
 6 
 7 # 读取数据 X, y
 8 iris = datasets.load_iris()
 9 X = iris.data
10 y = iris.target
11 
12 # 把数据分成训练数据和测试数据
13 X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=20)
14 
15 # 构建KNN模型， K值为3、 并做训练
16 clf = KNeighborsClassifier(n_neighbors=3)
17 clf.fit(X_train, y_train)
18 
19 # 计算准确率
20 from sklearn.metrics import accuracy_score
21 correct = np.count_nonzero((clf.predict(X_test)==y_test)==True)
22 print ("Accuracy is: %.3f" %(correct/len(X_test))) # Accuracy is: # output：0.921
23 # 把鸢尾花识别转换为二分类问题
24 y_train_binary = y_train.copy() #备份训练集的预测值y
25 y_test_binary = y_test.copy() #备份测试集的预测值y
26 #y值不是1就将其赋值为0，也就是预测值y只可能是1和0，把原来的三分类问题转成了2分类问题。
27 y_train_binary[y_train_binary != 1] = 0
28 y_test_binary[y_test_binary != 1] = 0
29 # 用KNN进行学习
30 knn = KNeighborsClassifier(n_neighbors=3)
31 knn.fit(X_train, y_train_binary)
32 y_pred = knn.predict(X_test)
33 from sklearn.metrics import accuracy_score, precision_score, recall_score, f1_score
34 # 准确率
35 print(‘准确率：{:.3f}‘.format(accuracy_score(y_test_binary, y_pred)))
36 # 精确率
37 print(‘精确率：{:.3f}‘.format(precision_score(y_test_binary, y_pred)))
38 # 召回率
39 print(‘召回率：{:.3f}‘.format(recall_score(y_test_binary, y_pred)))
40 # F1值
41 print(‘F1值：{:.3f}‘.format(f1_score(y_test_binary, y_pred)))
42 #output  准确率：0.921
43 #output 精确率：0.867
44 #output 召回率：0.929
45 #output F1值：0.897

2、sklearn关于P-R曲线的函数 

1）求PR曲线的Recall值和Precision值 precision_recall_curve()

sklearn.metrics.precision_recall_curve(y_true, probas_pred, pos_label=None, sample_weight=None)

   AP的计算，此处参考的是PASCAL VOC CHALLENGE的2010年之前计算方法。首先设定一组阈值，[0, 0.1, 0.2, …, 1]。然后对于recall大于每一个阈值（比如recall>0.3），我们都会得到一个对应的最大precision。这样，我们就计算出了11个precision。AP即为这11个precision的平均值。这种方法英文叫做11-point interpolated average precision。?

  当然PASCAL VOC CHALLENGE自2010年后就换了另一种计算方法。新的计算方法假设这N个样本中有M个正例，那么我们会得到M个recall值（1/M, 2/M, ..., M/M）,对于每个recall值r，我们可以计算出对应（r‘ >= r）的最大precision，然后对这M个precision值取平均即得到最后的AP值。

2）如何用sklearn绘制PR曲线 

 1 from sklearn.metrics import precision_recall_curve,average_precision_score
 2 import matplotlib.pyplot as plt
 3 precision, recall, _ = precision_recall_curve(y_test_binary, y_pred)
 4 plt.step(recall, precision, color=‘b‘, alpha=0.2,where=‘post‘)
 5 plt.fill_between(recall, precision, step=‘post‘, alpha=0.2, color=‘b‘)
 6 plt.xlabel(‘Recall‘)
 7 plt.ylabel(‘Precision‘)
 8 plt.ylim([0.0, 1.05])
 9 plt.xlim([0.0, 1.0])
10 plt.title(‘2-class Precision-Recall curve: AP={:.3f}‘.format(average_precision_score(y_test_binary, y_pred)))

3、sklearn关于ROC曲线的函数 

1） roc_curve() 求fpr和tpr的值

 

sklearn.metrics.roc_curve(y_true, y_score, pos_label=None, sample_weight=None, drop_intermediate=True)

 

2）roc_auc_score() 求AUC值

roc_auc_score(y_true, y_score, average=’macro’, sample_weight=None)

3）如何绘制ROC曲线  

 1 import numpy as np
 2 import matplotlib.pyplot as plt
 3 from itertools import cycle
 4 from sklearn import svm, datasets
 5 from sklearn.metrics import roc_curve, auc
 6 from sklearn.model_selection import train_test_split
 7 from sklearn.preprocessing import label_binarize
 8 from sklearn.multiclass import OneVsRestClassifier
 9 from scipy import interp
10 # Import some data to play with
11 iris = datasets.load_iris()
12 X = iris.data
13 y = iris.target
14 # Binarize the output
15 y = label_binarize(y, classes=[0, 1, 2])
16 n_classes = y.shape[1]
17 # Add noisy features to make the problem harder
18 random_state = np.random.RandomState(0)
19 n_samples, n_features = X.shape
20 X = np.c_[X, random_state.randn(n_samples, 200 * n_features)]
21 # shuffle and split training and test sets
22 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=.5,random_state=0)
23 # Learn to predict each class against the other
24 classifier = OneVsRestClassifier(svm.SVC(kernel=‘linear‘, probability=True,random_state=random_state))
25 y_score = classifier.fit(X_train, y_train).decision_function(X_test)
26 # Compute ROC curve and ROC area for each class
27 fpr = dict()
28 tpr = dict()
29 roc_auc = dict()
30 for i in range(n_classes):
31     fpr[i], tpr[i], _ = roc_curve(y_test[:, i], y_score[:, i])
32     roc_auc[i] = auc(fpr[i], tpr[i])
33 
34 # Compute micro-average ROC curve and ROC area
35 fpr["micro"], tpr["micro"], _ = roc_curve(y_test.ravel(), y_score.ravel())
36 roc_auc["micro"] = auc(fpr["micro"], tpr["micro"])
37 plt.figure()
38 lw = 2
39 plt.plot(fpr[2], tpr[2], color=‘darkorange‘,lw=lw, label=‘ROC curve (area = %0.2f)‘ % roc_auc[2])
40 plt.plot([0, 1], [0, 1], color=‘navy‘, lw=lw, linestyle=‘--‘)
41 plt.xlim([0.0, 1.0])
42 plt.ylim([0.0, 1.05])
43 plt.xlabel(‘False Positive Rate‘)
44 plt.ylabel(‘True Positive Rate‘)
45 plt.title(‘Receiver operating characteristic example‘)
46 plt.legend(loc="lower right")
47 plt.show()

 

4、在sklearn使用混淆矩阵

得到混淆矩阵confusion_matrix()

 

sklearn.metrics.confusion_matrix(y_true, y_pred, labels=None, sample_weight=None)

 

参数：

• • y_true：真实因变量值
  • y_pred：预测因变量值
  • labels：矩阵的标签列表索引顺序
  • sample_weight：样本权重

输出：
一个矩阵，shape=[y中的类型数，y中的类型数]

二·回归模型

 1 """
 2 # 利用 diabetes数据集来学习线性回归  
 3 # diabetes 是一个关于糖尿病的数据集， 该数据集包括442个病人的生理数据及一年以后的病情发展情况。   
 4 # 数据集中的特征值总共10项, 如下:  
 5     # 年龄  
 6     # 性别  
 7     #体质指数  
 8     #血压  
 9     #s1,s2,s3,s4,s4,s6  (六种血清的化验数据)  
10     #但请注意，以上的数据是经过特殊处理， 10个数据中的每个都做了均值中心化处理，然后又用标准差乘以个体数量调整了数值范围。
11     #验证就会发现任何一列的所有数值平方和为1.   
12 """
13 import matplotlib.pyplot as plt
14 import numpy as np
15 from sklearn import datasets, linear_model
16 from sklearn.metrics import mean_squared_error, r2_score
17 # Load the diabetes dataset
18 diabetes = datasets.load_diabetes()  
19 # Use only one feature  
20 # 增加一个维度，得到一个体质指数数组[[1],[2],...[442]]
21 diabetes_X = diabetes.data[:, np.newaxis,2]
22 print(diabetes_X) 
23 # Split the data into training/testing sets
24 diabetes_X_train = diabetes_X[:-20]
25 diabetes_X_test = diabetes_X[-20:]
26 # Split the targets into training/testing sets
27 diabetes_y_train = diabetes.target[:-20]
28 diabetes_y_test = diabetes.target[-20:]
29 # Create linear regression object
30 regr = linear_model.LinearRegression()
31 # Train the model using the training sets
32 regr.fit(diabetes_X_train, diabetes_y_train)
33 # Make predictions using the testing set
34 diabetes_y_pred = regr.predict(diabetes_X_test)
35 # The coefficients  
36 # 查看相关系数 
37 print(‘Coefficients: 
‘, regr.coef_)
38 #output Coefficients:   [938.23786125]
39 # The mean squared error  
40 # 均方差
41 # 查看残差平方的均值(mean square error,MSE) 
42 print("Mean squared error: %.2f"
43       % mean_squared_error(diabetes_y_test, diabetes_y_pred))
44 # output Mean squared error: 2548.07
45 # Explained variance score: 1 is perfect prediction 
46 #  R2 决定系数（拟合优度）
47 # 模型越好：r2→1
48 # 模型越差：r2→0
49 print(‘Variance score: %.2f‘ % r2_score(diabetes_y_test, diabetes_y_pred))
50 #output Variance score: 0.47
51 # Plot outputs
52 plt.scatter(diabetes_X_test, diabetes_y_test,  color=‘black‘)
53 plt.plot(diabetes_X_test, diabetes_y_pred, color=‘blue‘, linewidth=3)
54 plt.xticks(())
55 plt.yticks(())
56 plt.show()