数据预处理基于Pandas的数据预处理技术前七个任务

Posted 2022-12-27

一.需求分析

本文主题：基于Pandas的数据预处理技术

本次任务共分为16个任务，将其分为前七个任务和后11个任务，本文探讨其前七个任务。

本次实验内容：

1. 本次实验以california_housing加州房价数据集为例，下载数据集

2. 查看数据集的描述、特征及目标数据名称、数据条数、特征数量

3. 将数据读入pandas的DataFrame并转存到csv文件

4. 查看数据集各个特征的类型以及是否有空值

5. 对数据集做中心化度量：计算各个特征的中位数和均值，分析中位数和均值情况

6. 对数据集做离散化度量：对第一个特征（收入中位数）画盒图（箱线图），检查孤立点（离群点）并进行分析

7. 【选做】对所有特征画盒图（箱线图），检查孤立点（离群点）并进行分析

8. 对第一个特征（收入中位数）排序后画散点图

9. 对第一个特征（收入中位数）画分位数图并分析

10. 【选做】对所有特征画分位数图并进行分析

11. 使用散点图、使用线性回归方法拟合第一个特征（收入中位数）并分析

12. 【选做】使用局部回归（Loess）曲线（用一条曲线拟合散点图）方法拟合第一个特征（收入中位数）数据

13. 对第一个特征（收入中位数）画分位数-分位数图并分析

14. 对第一个特征（收入中位数）画直方图，查看数据的分布和数据倾斜情况

15. 【选做】对所有特征画直方图，查看数据的分布和数据倾斜情况

16. 寻找所有特征之间的相关性并找出相关性大于 0.7 的特征对，做特征规约

二.需求解决

2.1 本次实验以california_housing加州房价数据集为例，下载数据集

本次实验以california_housing加州房价数据集为例，下载数据集，先将数据集保存下来，输出查看一下。

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.datasets import fetch_california_housing
housing=fetch_california_housing()
print(housing.keys())

以california_housing加州房价数据集为例，下载数据集，先将数据集保存下来，输出查看一下。运行结果如下：

2.2 查看数据集的描述、特征及目标数据名称、数据条数、特征数量

在做完上面的下载数据集操作之后将其保存下来，查看数据集的描述、特征及目标数据名称、数据条数、特征数量。输出一下查看效果：

print(housing[DESCR])
print(housing[feature_names])
print(housing[target_names])
X=housing.data
y=housing.target
print(y:,y.shape,y)
print(X:,X.shape,X)

查看数据集的描述、特征及目标数据名称、数据条数、特征数量。效果如下：

2.3 将数据读入pandas的DataFrame并转存到csv文件

我们做完上述步骤数据集的描述、特征及目标数据名称、数据条数、特征数量，将数据读入pandas的DataFrame并转存到csv文件，代码如下：

import pandas as pd
df=pd.DataFrame()
for i in range (X.shape[1]):
    df[housing.feature_names[i]]=X[:,i]
df["target"]=y
df.to_csv(cali-housing.csv,index=None

将数据读入pandas的DataFrame并转存到csv文件截图如下：

2.4 查看数据集各个特征的类型以及是否有空值

函数df.info ()作用:数据表的基本信息（维度，列名称，数据格式，所占空间等）。

Pandas dataframe.info()函数的作用是获取一个简洁的dataframe摘要。当对数据进行探索性分析时，它非常方便。为了快速浏览数据集，我们使用dataframe.info()函数。

这个任务需求比较简单哈： 查看数据集各个特征的类型以及是否有空值，只需要一行函数：

df.info()

参数:

查看数据集各个特征的类型以及是否有空值，截图如下：

2.5 对数据集做中心化度量：计算各个特征的中位数和均值，分析中位数和均值情况

这个任务需求也是非常的简单，我们对数据集做中心化度量：计算各个特征的中位数和均值，分析中位数和均值情况，只需要调用describe函数：

df.describe()

describe函数：用于生成描述性统计数据，统计数据集的集中趋势，分散和行列的分布情况，不包括 NaN值。

参数：

对数据集做中心化度量：计算各个特征的中位数和均值，分析中位数和均值情况，运行结果截图：

2.6 对数据集做离散化度量：对第一个特征（收入中位数）画盒图（箱线图），检查孤立点（离群点）并进行分析

对数据集做离散化度量：对第一个特征（收入中位数）画盒图（箱线图），检查孤立点（离群点）并进行分析。

考虑使用boxplot进行中心化和离散化度量，代码如下：

import matplotlib.pyplot as plt
plt.boxplot(X[:,0],showmeans=True,meanline=True)
plt.show()

运行结果如下：

df[AveBedrms].dropna().sort_values().tail(10)

运行结果如下：

2.7 【选做】对所有特征画盒图（箱线图），检查孤立点（离群点）并进行分析

我们挑战一下这个简单的选做需求：【选做】对所有特征画盒图（箱线图），检查孤立点（离群点）并进行分析

人均收入(MedInc)、房龄(HouseAge)、房间数(AveRooms)、卧室数(AveBedrooms)、小区人口数(Population)、 房屋居住人数(AveOccup)、小区经度(Longitude)、小区纬度(Latitude)

使用boxplot进行中心化和离散化度量：

import matplotlib.pyplot as plt
plt.figure(figsize=(12,12))
for i in range(8):
    plt.subplot(4, 2, i+1)
    plt.boxplot(X[:,i],showmeans=True,meanline=True)
plt.show()

运行效果截图：

从上面的8个特征值的盒图观察可以看到人均收入(MedInc)、房龄(HouseAge)、房间数(AveRooms)、卧室数(AveBedrooms)、小区人口数(Population)、房屋居住人数(AveOccup)、小区经度(Longitude)、小区纬度(Latitude)，这些特征在加州房价数据的盒图。