Pandas之Dropna滤除缺失数据

Posted nxf-rabbit75

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Pandas之Dropna滤除缺失数据相关的知识,希望对你有一定的参考价值。

import pandas as pd
import numpy as np
from numpy import nan as NaN

一、处理Series对象

  • 通过dropna()滤除缺失数据
from numpy import nan as NaN
se1=pd.Series([4,NaN,8,NaN,5])
print(se1)
se1.dropna()

结果如下:

0    4.0
1    NaN
2    8.0
3    NaN
4    5.0
dtype: float64

0    4.0
1    NaN
2    8.0
3    NaN
4    5.0
dtype: float64
  • 通过布尔序列也能滤除:
se1[se1.notnull()]

结果如下:

0    4.0
2    8.0
4    5.0
dtype: float64

二、处理DataFrame对象

处理DataFrame对象比较复杂,因为你可能需要丢弃所有的NaN或部分NaN

df1=pd.DataFrame([[1,2,3],[NaN,NaN,2],[NaN,NaN,NaN],[8,8,NaN]])
print(df1)

结果如下:

     0    1    2
0  1.0  2.0  3.0
1  NaN  NaN  2.0
2  NaN  NaN  NaN
3  8.0  8.0  NaN
  • 默认滤除所有包含NaN:
df1.dropna()

结果如下

     0    1    2
0  1.0  2.0  3.0
1  NaN  NaN  2.0
2  NaN  NaN  NaN
3  8.0  8.0  NaN
  • 传入how=’all’滤除全为NaN的行
df1.dropna(how=‘all‘)

结果如下

     0    1    2
0  1.0  2.0  3.0
1  NaN  NaN  2.0
2  NaN  NaN  NaN
3  8.0  8.0  NaN
  • 传入axis=1滤除列
df1[3]=NaN
df1

结果如下

     0    1    2   3
0  1.0  2.0  3.0 NaN
1  NaN  NaN  2.0 NaN
2  NaN  NaN  NaN NaN
3  8.0  8.0  NaN NaN
df1.dropna(axis=1,how="all")

结果如下

     0    1    2
0  1.0  2.0  3.0
1  NaN  NaN  2.0
2  NaN  NaN  NaN
3  8.0  8.0  NaN
  • 传入thresh=n滤除n行
df1.dropna(thresh=1)

结果如下

0   1   2   3
0   1.0 2.0 3.0 NaN
1   NaN NaN 2.0 NaN
3   8.0 8.0 NaN NaN
df1.dropna(thresh=3)

结果如下

      0  1   2    3
0   1.0 2.0 3.0 NaN

以上是关于Pandas之Dropna滤除缺失数据的主要内容,如果未能解决你的问题,请参考以下文章

pandas删除缺失数据(pd.dropna()方法)

pandas使用dropna函数删除dataframe中列非缺失值的个数小于某一比例阈值的数据列

Pandas处理缺失数据

pandas使用dropna函数删除dataframe中所有包含缺失值的数据行(drop rows which contain missing vlaues in dataframe)

pandas数据分析-处理填充缺失数据

python pandas中describe()各项含义及求值