数据清洗

Posted 2020-12-01 tunan-ki

处理缺失值

通过isnull和notnull方法，可以返回布尔值的对象。

这时通过求和可以获取每列的缺失值数量，再通过求和就可以获得整个DataFrame的缺失值数量

侦查缺失值

创建有缺失值的DataFeame

>>> from pandas import Series,DataFrame

>>> import pandas as pd

>>> import numpy as np

>>> df1 = DataFrame([[5,3,5],[1,6,np.nan],["lili",np.nan,"pop"],[np.nan,"a","b"]])

>>> df1

      0    1    2

0     5    3    5

1     1    6  NaN

2  lili  NaN  pop

3   NaN    a    b

查看缺失值

>>> df1.isnull()

       0      1      2

0  False  False  False

1  False  False   True

2  False   True  False

3   True  False  False

>>> df1.notnull()

       0      1      2

0   True   True   True

1   True   True  False

2   True  False   True

3  False   True   True

缺失值计算

>>> df1.isnull().sum()

0    1

1    1

2    1

dtype: int64

 

>>> df1.isnull().sum().sum()

3

 

通过info()方法查看缺失值

>>> df1.info()
<class ‘pandas.core.frame.DataFrame‘>

RangeIndex: 4 entries, 0 to 3

Data columns (total 3 columns):

0    3 non-null object

1    3 non-null object

2    3 non-null object

dtypes: object(3)

memory usage: 224.0+ bytes

删除缺失值

通过dropna可以删除具有缺失值的行

>>> df1.dropna()

   0  1  2

0  5  3  5

 

传入how=”all”，则只会删除全为NaN的那些行

>>> df2

     0    1    2   3

0  0.0  1.0  2.0 NaN

1  4.0  5.0  6.0 NaN

2  NaN  NaN  NaN NaN

>>> df2.dropna(how="all")

     0    1    2   3

0  0.0  1.0  2.0 NaN

1       4.0  5.0  6.0 NaN

如果需要删除列，则指定轴方向即可

>>> df2.dropna(how="all",axis=1)

     0    1    2

0  0.0  1.0  2.0

1  4.0  5.0  6.0

2       NaN  NaN  NaN

填充缺失值

通过fillna方法可以将缺失值替换为常数值

填充缺失值

>>> df2.fillna(0)

     0    1    2    3

0  0.0  1.0  2.0  0.0

1  4.0  5.0  6.0  0.0

3  0.0  0.0  0.0  0.0

针对不同列填充不同值

在fillna中传入字典结构数据，可以针对不同列填充不同的值，fillna返回的新对象不会对原数据库进行修改，可通过inplace就地进行修改

下标为1的列替换为6，下标为3的列替换为

>>> df2.fillna({1:6,3:0})

     0    1    2    3

0  0.0  1.0  2.0  0.0

1  4.0  5.0  6.0  0.0

2  NaN  6.0  NaN  0.0

>>> 

在原对象上修改

>>> df2.fillna({1:6,3:0},inplace=True)

>>> df2

     0    1    2    3

0  0.0  1.0  2.0  0.0

1  4.0  5.0  6.0  0.0

2  NaN  6.0  NaN  0.0

>>> 

 

对重新索引reindex中填充缺失值的方法同样适用于fillna中

>>> df2.fillna(method="ffill")

     0    1    2    3

0  0.0  1.0  2.0  0.0

1  4.0  5.0  6.0  0.0

2  4.0  6.0  6.0  0.0

 

填充平均值(列方向)

>>> df2[0] = df2[0].fillna(df2[0].mean())

>>> df2

     0    1    2    3

0  0.0  1.0  2.0  0.0

1  4.0  5.0  6.0  0.0

2  2.0  6.0  NaN  0.0

>>> 

 

移除重复元素

在DataFrame中，通过duplicated方法判断各行是否有重复数据

查看是否有重复值

>>> data = {

...     "name":["张三","李四","张三","小明"],

...     "sex":["female","male","female","male"],

...     "year":[2001,2002,2001,2002],

...     "city":["北京","上海","北京","北京"],

... }

>>> 

>>> df1 = DataFrame(data)

>>> df1

  name     sex  year city

0   张三  female  2001   北京

1   李四    male  2002   上海

2   张三  female  2001   北京

3   小明    male  2002   北京

>>> df1.duplicated()

0    False

1    False

2     True

3    False

dtype: bool

 

通过drop_ duplicates()方法，可以删除多余的重复项

删除重复项

>>> df1.drop_duplicates()

  name     sex  year city

0   张三  female  2001   北京

1   李四    male  2002   上海

3   小明    male  2002   北京

>>> 

 

指定部分列作为判断重复项的依据

>>> df1.drop_duplicates(["sex","year"])

  name     sex  year city

0   张三  female  2001   北京

1   李四    male  2002   上海

>>> 

 

默认保存第一次出现的组合，可以通过keep=”list”可以保留最后一个出现的组合

>>> df1.drop_duplicates(["sex","year"])

  name     sex  year city

0   张三  female  2001   北京

1   李四    male  2002   上海

>>> 

 

替换值

在pandas中，通过replace可完成替换值的功能，也可以对不同值进行多值替换，参数传入方式可以是列表也可以是字典格式

替换值

>>> df1.replace("","不详")

  name     sex  year city

0   张三  female  2001   北京

1   李四    male  2002   上海

2   张三      不详  2001   不详

3   小明    male  2002   北京

>>> 

 

多值替换

同时替换空格和2001年为不详和2002年(列表)

>>> df1.replace(["",2001],["不详",2002])

  name     sex  year city

0   张三  female  2002   北京

1   李四    male  2002   上海

2   张三      不详  2002   不详

3   小明    male  2002   北京

>>> 

 

同时替换空格和2001年为不详和2002年(字典)

>>> df1.replace({"":"不详",2001:2002})

  name     sex  year city

0   张三  female  2002   北京

1   李四    male  2002   上海

2   张三      不详  2002   不详

3   小明    male  2002   北京

>>> 

 

利用函数或映射进行数据转换

在pandas中，通过map方法可以通过if函数实现分数等级的划分

数学成绩

>>> data = {

...     "name":["张三","李四","王五","小明"],

...     "math":[79,52,63,92]

... }

>>> df2 = DataFrame(data)

>>> df2

  name  math

0   张三    79

1   李四    52

2   王五    63

3   小明    92

>>> 

 

函数应用

>>> def f(x):

...     if x>=90:

...             return "优秀"

...     elif 70<=x<90:

...             return "良好"

...     elif 60<=x<70:

...             return "合格"

...     else:

...             return "不合格"

...

>>> df2["class"] = df2["math"].map(f)

>>> df2

  name  math class

0   张三    79    良好

1   李四    52   不合格

2   王五    63    合格

3   小明    92    优秀

>>> 

 

检测异常值

在数据分析中，通常会通过一些可视化的方法去找离群点，这些离群点可能就是异常值。

>>> df3 = DataFrame(np.arange(10),columns=["x"])

>>> df3["Y"]=2*df3["x"]+0.5

>>> df3.iloc[9,1]=185

>>> df3

   x      Y

0  0    0.5

1  1    2.5

2  2    4.5

3  3    6.5

4  4    8.5

5  5   10.5

6  6   12.5

7  7   14.5

8  8   16.5

9  9   184

 

 

>>> import matplotlib.pyplot as plt

>>> df3.plot(kind="scatter",x="x",y="Y")

<matplotlib.axes._subplots.AxesSubplot object at 0x000001BAE83A8188>

>>> plt.show()