pandas数据缺失处理

Posted 2020-11-29 zszxz

一 前言

数据分析中对数据的清洗是个比较重要的工作，如果处理不当会造成数据分析错误，故学习好相关数据清洗知识很有必要。知识追寻者忙于学习其它知识，有点懈怠了python, 努力补救中。

公众号：知识追寻者

知识追寻者(Inheriting the spirit of open source, Spreading technology knowledge;)

二 数据缺失处理

数据缺失处理也就是对NaN的处理，通常的做法就是省略或者替换；

2.1 空值判定

调用isnull() 方法进行空值判定，返回布尔值；

# -*- coding: utf-8 -*-

import pandas as pd
import numpy as np

ser = pd.Series([‘111‘,‘222‘,np.NaN])
# 空判定
print(ser.isnull())

输出

0    False
1    False
2     True
dtype: bool

2.2丢弃NaN

对于有些数据存在NaN，一般进行数据分析时都是不需要的数据，故会省略掉；使用 ser.dropna() 方法可以略过所有的NaN数据

# -*- coding: utf-8 -*-

import pandas as pd
import numpy as np

ser = pd.Series([‘111‘,‘222‘,np.NaN])
# 过滤掉所有NAN
print(ser.dropna())

输出

0    111
1    222
dtype: object

如果想删除整列全为NaN的可以指定参数how= ‘all‘

# -*- coding: utf-8 -*-

import pandas as pd
import numpy as np

data = pd.DataFrame([[2.5, 5, 3], [1, np.NaN, np.NaN], [np.NaN, np.NaN, np.NaN]])
# 过滤掉都是NaN的列
print(data.dropna(how=‘all‘))

输出

     0    1    2
0  2.5  5.0  3.0
1  1.0  NaN  NaN

可以指定按列丢弃 axis = 1

# -*- coding: utf-8 -*-

import pandas as pd
import numpy as np

data = pd.DataFrame([[2.5, 5, 3], [1, np.NaN, np.NaN], [np.NaN, np.NaN, np.NaN]])
# 按列丢弃
print(data.dropna(axis=1,how=‘all‘))

输出

     0    1    2
0  2.5  5.0  3.0
1  1.0  NaN  NaN
2  NaN  NaN  NaN

2.3 数据填充

另一种手段对NaN的处理可以设置为默认值，比如 数值0；

# -*- coding: utf-8 -*-

import pandas as pd
import numpy as np

data = pd.DataFrame([[2.5, 5, 3], [1, np.NaN, np.NaN], [np.NaN, np.NaN, np.NaN]])
# 填充
print(data.fillna(0))

输出

     0    1    2
0  2.5  5.0  3.0
1  1.0  0.0  0.0
2  0.0  0.0  0.0

对每个列设置默认值替换NaN可以使用字典

# -*- coding: utf-8 -*-

import pandas as pd
import numpy as np

data = pd.DataFrame([[2.5, 5, 3], [1, np.NaN, np.NaN], [np.NaN, np.NaN, np.NaN]])
dic = {0:1, 1:2, 2:3}
# 填充
print(data.fillna(dic))

输出

     0    1    2
0  2.5  5.0  3.0
1  1.0  2.0  3.0
2  1.0  2.0  3.0

再复习一下填充，之前文章有到过；此时会对每列最后一个值进行填充NaN,并且使用limit 限定填充次数

# -*- coding: utf-8 -*-

import pandas as pd
import numpy as np

data = pd.DataFrame([[2.5, 5, 3], [1, np.NaN, np.NaN], [np.NaN, np.NaN, np.NaN]])
# 填充
print(data.fillna(method=‘ffill‘, limit=1))

输出

     0    1    2
0  2.5  5.0  3.0
1  1.0  5.0  3.0
2  1.0  NaN  NaN