工作流程

Posted 2021-03-07 kt-xb

1.获取   ------不管是什么格式，一旦锁定了某种数据，那么了解该数据中有什么以及没有什么，就变得非常重要了。

import urllib.request

 

2.检查和探索  ------主要的目标是合理 地检查数据，而实现这一点的最好办法是发现不可能或几乎不可能的事情。举个例子， 如果数据具有唯一的标识符，检查是否真的只有一个；如果数据是基于价格的，检查是 否总为正数；无论数据是何种类型，检查最极端的情况。

import pandas as pd 

　　在 Pandas 的术语中，数据列称为系列（Series），而表格称为 数据框（DateFrame）。

　　数据集：https://archive.ics.uci.edu/ml/machine-learning-databases/iris/iris.data

　　df[‘sepal length‘]       　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　列输出

　　df.ix[:3, :2]  　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　列表切片

　　df[‘class‘].unique() 　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　   将根据某些特定的条件，来选择数据的一个子集

　　df[df[‘class‘]==‘Iris-virginica‘] 　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　  可以看到数据框只包含 Iris-virginica 类的 数据

　　virginica = df[df[‘class‘]==‘Iris-virginica‘].reset_index(drop=True) 　　　　　　　　　　　　　　　将这些数据保存为一个 新的数据框并重置索引

　　df[(df[‘class‘]==‘Iris-virginica‘)&(df[‘petal width‘]>2.2)]　　　　　　　　　　　　　　　　　　　　 使用两个条件选择数据

　　df.describe()　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　  从虹膜数据集中获取一些快速的描述性统计数据

　　df.describe(percentiles=[.20,.40,.80,.90,.95])　　　　　　　　　　　　　　　　　　　　　　　  传入自定义的百分比

　　df.corr()　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　  检查这些特征之间是否有任何相关性。

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　还可以 切换到 Kendall‘s tau 或 Spearman‘s 秩相关系数（例如，.corr(method="spearman") 　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　或.corr(method="kendall")）。　

　　

　　可视化 

　　

3.清理和准备   ------将数据转化为适合于模型使用的格式。

4.建模  ------选择适当的算法，并在数据上训练出一个模型。

5.评估  ------模型的预测和实际值到底有多接近。

6.部署