复盘一篇讲sklearn库学习文章(上)

Posted 2020-11-16 chenjieyouge

认识

sklearn 官网地址: https://scikit-learn.gor/stable/

从2007年发布以来, scikit-learn已成为重要的Python机器学习库, 简称sklearn, 支持包括分类, 回归, 降维和聚类等机器学习算法, 还包括了特征提取, 数据处理, 模型评估三大模块.

sklearn是Scipy的扩展, 建立在Numpy, Matplotlib..等库的基础上. 拥有完善的文档, 上手容易, API丰富, 同时封装了大量的机器学习算法, 且内置了大量数据集, 是入门的一个非常好的库哦

sklearn-机器学习

学习类型

有监督学习

• 认识: 从成对的,已经标注的输入和输出经验数据作为一个输入进行学习, 用来预测结果, 是从用正确答案的例子中学习
• 应用: 分类问题, 回归问题

无监督学习

• 认识: 输入的数据没有标签,没有正确答案, 单纯从数据中找寻规律
• 应用: 聚类问题, 降维问题

半监督学习

• 介于之间, 增强学习

数据集

分类

• 训练集: 用来训练模型的数据集 (50%以上的数据量)
• 测试集: 用来测试模型的数据集 (25%)
• 验证集: 调整超参数变量 (25%)

交叉验证

• 认识: 将数据集分成N份, 用N-1份训练模型, 在另一块进行测试, 通常5折交叉验证.
• 优点: 能充分利用数据, 提高模型效果

模型评估

• 方差(variance)
• 偏差(biass)

• 偏差-方差均衡

• 值

  • 真阳性(TP): 正确识别目标
  • 假阳性(FP): 错误识别目标
  • 真阴性(TN): 正确识别非目标
  • 假阴性(FN): 错误识别非目标

• 指标

  • 准确率(ACC) = (TP+TN) / (TP+TN+FP+FN)
  • 精确率(P) = TP / (FP+FN)
  • 召回率(R) = TP / (TP+FN)

通俗理解 : 关于准确率, 召回率, 精确率的小案例, 网上找的

说一个池塘里有1400条鲤鱼, 300只虾, 300只鳖 (即总数是2000). 现在呢, 我想去捞鲤鱼, 一网下去, 捞上来700条鲤鱼, 200只虾, 100只鳖, (即共捞起来总数是1000).

正确率: (捞起来的鲤鱼数 / 捞起来的总数) = 700 / (200 + 100 + 700) = 70%

召回率: (捞起来的鲤鱼数 / 总数中的鲤鱼数量) = 700 / 1400 = 50%

二分类最能说明, 后面单独整一篇关于率的吧..

sklearn 官方文档结构

sklearn库的算法主要有四类: 分类, 回归, 聚类, 降维
什么线性, 决策树, SVM, KNN, 随机森林, Adaboost, 随机梯度下降, Bagging, ExtraTrees...都有的哈

• preprocession: 数据预处理模块
• impute: 缺失值处理模块
• feature_selection: 特征选择模块
• decomposition: 降维算法模块

slearn快速使用

传统的机器学习任务通常的流程是: 获取数据->数据预处理->特征工程(选择, 向量化等)->模型训练->模型评估->预测

先整一个学统计学时的经典数据集鸢尾花的分类, 共150个样本, 包括4个特征变量和1个类别变量.

特征变量

• sepal length: 花萼长度
• sepal width: 花萼宽度
• petal length: 花瓣长度
• petal width: 花瓣宽度
• 类别: iris-setosa(山鸢尾), iris-versicolor(变色鸢尾花), iris-virginica (维吉尼亚鸢尾花)的哪一种

from sklearn import datasets  # 用内置的数据源
from sklearn.model_selection import train_test_split
from sklearn.neighbors import KNeighborsClassifier

# 1. 获取数据
# 数据集是 json, {data:[[]], target_names:xxx, xxx}
iris = datasets.load_iris()
# 2. 特征工程 - 获取特征变量和目标变量
iris_X = iris.data
iris_y = iris.target

print("数据准备+特征工程--")
print('X_shape:',iris_X.shape, 'y_shape:',iris_y.shape) # 查看维度
print('y_target:', iris_y)

# 2. 特征工程 - 划分测试集和训练集
X_train, X_test, y_train, y_test = train_test_split(iris_X, iris_y, test_size=0.25)

# 3. 训练模型
print("开始进行训练---")
knn = KNeighborsClassifier()  # 实例对象
knn.fit(X_train, y_train)

print("模型参数:", knn.get_params())

# 4. 模型评价

print("真实值:", y_test)
print("预测值:", knn.predict(X_test))

score = knn.score(X_test, y_test)
print("预测得分为:", round(score, 3))
      

数据准备+特征工程--
X_shape: (150, 4) y_shape: (150,)
y_target: [0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2 2
 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2
 2 2]
开始进行训练---

KNeighborsClassifier(algorithm='auto', leaf_size=30, metric='minkowski',
           metric_params=None, n_jobs=None, n_neighbors=5, p=2,
           weights='uniform')

模型参数: {'algorithm': 'auto', 'leaf_size': 30, 'metric': 'minkowski', 'metric_params': None, 'n_jobs': None, 'n_neighbors': 5, 'p': 2, 'weights': 'uniform'}
真实值: [0 1 0 2 1 1 0 0 2 0 2 2 0 1 1 2 0 1 1 0 0 0 2 0 1 0 1 1 2 1 1 0 1 1 1 1 1
 2]
预测值: [0 1 0 2 1 2 0 0 2 0 2 2 0 1 1 2 0 1 1 0 0 0 2 0 1 0 1 1 2 1 2 0 2 1 1 1 1
 2]
预测得分为: 0.921

先简单引入, 下篇就是详情啦