《Python机器学习时间指南》Python机器学习的生态系统

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了《Python机器学习时间指南》Python机器学习的生态系统相关的知识,希望对你有一定的参考价值。

  本文主要记录《Python机器学习时间指南》第一章中1.2Python库和功能中的内容。学习机器学习的工作流程。

一、数据的获取和检查

 

requests获取数据

pandans处理数据

 1 import os
 2 import pandas as pd
 3 import requests
 4 
 5 PATH = rE:/Python Machine Learning Blueprints/Chap1/1.2/
 6 r = requests.get(https://archive.ics.uci.edu/ml/machine-learning-databases/iris/iris.data)
 7 with open(PATH + iris.data, w) as f:
 8          f.write(r.text)
 9 os.chdir(PATH)
10 df = pd.read_csv(PATH + iris.data, names=[sepal length,sepal width,petal length,petal width,class])
11 df.head()

注意:1、requests库为访问数据的API交互借口, pandas是数据分析工具,两者可以专门拿出来后续研究

           2、read_csv后的路径名不能含有中文,否则会报OSError: Initializing from file failed。

上述程序运行结果:

sepal length sepal width petal length petal width class
0 5.1 3.5 1.4 0.2 Iris-setosa
1 4.9 3.0 1.4 0.2 Iris-setosa
2 4.7 3.2 1.3 0.2 Iris-setosa
3 4.6 3.1 1.5 0.2 Iris-setosa
4 5.0 3.6 1.4 0.2 Iris-setosa
5 5.4 3.9 1.7 0.4 Iris-setosa
6 4.6 3.4 1.4 0.3 Iris-setosa
7 5.0 3.4 1.5 0.2 Iris-setosa...

书中对于df的处理中值得注意的操作:

(1)过滤:

df[(df[‘class‘] == ‘Iris-setosa‘)&(df[‘petal width‘]>2.2)]

sepal length sepal width petal length petal width class
100 6.3 3.3 6.0 2.5 Iris-virginica
109 7.2 3.6 6.1 2.5 Iris-virginica
114 5.8 2.8 5.1 2.4 Iris-virginica
115 6.4 3.2 5.3 2.3 Iris-virginica
118 7.7 2.6 6.9 2.3 Iris-virginica
120 6.9 3.2 5.7 2.3 Iris-virginica
135 7.7 3.0 6.1 2.3 Iris-virginica
136 6.3 3.4 5.6 2.4 Iris-virginica
140 6.7 3.1 5.6 2.4 Iris-virginica
141 6.9 3.1 5.1 2.3 Iris-virginica
143 6.8 3.2 5.9 2.3 Iris-virginica
144 6.7 3.3 5.7 2.5 Iris-virginica
145 6.7 3.0 5.2 2.3 Iris-virginica
148 6.2 3.4 5.4 2.3 Iris-virginica

(2)过滤出的数据重新保存并重置索引

virginicadf = df[(df[‘class‘] == ‘Iris-virginica‘)&(df[‘petal width‘]>2.2)].reset_index(drop=True)

(3)获得各列统计信息

df.describe()

(4)每行-列相关系数

df.corr()

matplotlib绘制数据

(1)条形图(hist)

 1 import matplotlib.pyplot as plt
 2 plt.style.use(ggplot)
 3 #%matplotlib inline
 4 import numpy as np
 5 
 6 fig,ax = plt.subplots(figsize=(6,4))
 7 ax.hist(df[petal width], color=black)
 8 ax.set_ylabel(Count,fontsize=12)
 9 ax.set_xlabel(Width,fontsize=12)
10 plt.title(Iris Petal Width,fontsize=14, y=1.01)
11 plt.show()

技术分享 

注意:%matplotlib inline为ipython中语句,先暂时封掉;figsize=(6,4)不要漏掉=。为了显示,在最后加了show()函数

(2)散点图(scatter)

1 fig,ax = plt.subplots(figsize=(6,6))
2 ax.scatter(df[petal width],df[petal length], color=green)
3 ax.set_ylabel(Petal width,fontsize=12)
4 ax.set_xlabel(petal length,fontsize=12)
5 plt.title(Petal Scatterplot)
6 plt.show()

 技术分享

(3)直接绘制折线图(plot)

1 fig,ax = plt.subplots(figsize=(6,6))
2 ax.scatter(df[petal width],df[petal length], color=green)
3 ax.set_ylabel(Petal width,fontsize=12)
4 ax.set_xlabel(petal length,fontsize=12)
5 plt.title(Petal Scatterplot)
6 plt.show()

技术分享

 

(4)堆积条形图

 1 fig,ax = plt.subplots(figsize=(6,6))
 2 bar_width = .8
 3 labels = [x for x in df.columns if length in x or width in x]
 4 ver_y = [df[df[class]==Iris-versicolor][x].mean() for x in labels]
 5 vir_y = [df[df[class]==Iris-virginica][x].mean() for x in labels]
 6 set_y = [df[df[class]==Iris-setosa][x].mean() for x in labels]
 7 x = np.arange(len(labels))
 8 ax.bar(x,vir_y,bar_width,bottom=set_y,color=darkgrey)
 9 ax.bar(x,set_y,bar_width,bottom=ver_y,color=white)
10 ax.bar(x,ver_y,bar_width,color=black)
11 ax.set_xticks(x+(bar_width/2))
12 ax.set_xticklabels(labels,rotation=-70,fontsize=12)
13 ax.set_title(Mean Feature Measurement By Class,y=1.01)
14 ax.legend([‘Virginica‘,‘Setosa‘,‘Versicolor‘])

 

技术分享

注意:8-10行的代码是按照三种类型从高到低排的,如果调换了顺序结果错误。

Seaborn库统计可视化

利用Seaborn库可以简单获取数据的相关性和特征。

二、准备

1、Map

df[‘class‘] = df[‘class‘].map({‘Iris-setosa‘:‘SET‘,‘Iris-virginica‘:‘VIR‘,‘Iris-versicolor‘:‘VER‘})

sepal length sepal width petal length petal width class
0 5.1 3.5 1.4 0.2 SET
1 4.9 3.0 1.4 0.2 SET
2 4.7 3.2 1.3 0.2 SET
3 4.6 3.1 1.5 0.2 SET
4 5.0 3.6 1.4 0.2 SET
5 5.4 3.9 1.7 0.4 SET
6 4.6 3.4 1.4 0.3 SET

 2、Apply对行或列操作

应用在某一列:df[‘width petal‘] = df[‘petal width‘].apply(lambda v: 1 if v >=1.3 else 0)

在df中添加一列width petal  如果petal width超过1.3则为1,否则为0。注意lambda v是df[‘petal width‘]的返回值

应用在数据框:df[‘width area‘]=df.apply[lambda r: r[‘petal length‘] * r[‘petal width‘], axis=1]

注:axis=1表示对行运用函数,axis=0表示对列应用函数。所以上面的lambda r返回的是每一行

3、ApplyMap对所有单元执行操作

df.applymap(lambda v: np.log(v) if isinstance(v,float) else v)

4、Groupby 基于某些选择的列别对数据进行分组

df.groupby(‘class‘).mean()

 

数据按class分类并分别给出平均值

              sepal length sepal width petal length petal width
class
Iris-setosa 5.006 3.418 1.464 0.244
Iris-versicolor 5.936 2.770 4.260 1.326
Iris-virginica 6.588 2.974 5.552 2.026

df.groupby(‘class‘).describe()

数据按class分裂并分别给出描述统计信息

petal length \\
count mean std min 25% 50% 75% max
class
Iris-setosa 50.0 1.464 0.173511 1.0 1.4 1.50 1.575 1.9
Iris-versicolor 50.0 4.260 0.469911 3.0 4.0 4.35 4.600 5.1
Iris-virginica 50.0 5.552 0.551895 4.5 5.1 5.55 5.875 6.9

petal width ... sepal length sepal width \\
count mean ... 75% max count mean
class ...
Iris-setosa 50.0 0.244 ... 5.2 5.8 50.0 3.418
Iris-versicolor 50.0 1.326 ... 6.3 7.0 50.0 2.770
Iris-virginica 50.0 2.026 ... 6.9 7.9 50.0 2.974


std min 25% 50% 75% max
class
Iris-setosa 0.381024 2.3 3.125 3.4 3.675 4.4
Iris-versicolor 0.313798 2.0 2.525 2.8 3.000 3.4
Iris-virginica 0.322497 2.2 2.800 3.0 3.175 3.8

 

df.groupby(‘class‘)[‘petal width‘].agg({‘delta‘:lambda x:x.max()-x.min(), ‘max‘:np.max, ‘min‘:np.min})

delta max min
class
Iris-setosa 0.5 0.6 0.1
Iris-versicolor 0.8 1.8 1.0
Iris-virginica 1.1 2.5 1.4

三、建模和评估

这里只是简单运用两个函数,详细的内容见后面的内容

注:本章涉及到的可以详细了解的库:

requests、pandans、matplotlib、seaborn、statsmodels、scikit-learn

 





















































以上是关于《Python机器学习时间指南》Python机器学习的生态系统的主要内容,如果未能解决你的问题,请参考以下文章

分享《Python机器学习实践指南》+PDF+源码+Alexanfer T.Combs+黄申

半路出山想迅速上手Python做机器学习?这篇文章就是你需要的实用指南

Python机器学习时间指南Python机器学习的生态系统

《Python机器学习时间指南》Python机器学习的生态系统

Python机器学习实践指南pdf

机器学习实践:《Python机器学习实践指南》中文PDF+英文PDF+代码