Pandas 替换 NaN 值
Posted uncle_ll
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Pandas 替换 NaN 值相关的知识,希望对你有一定的参考价值。
替换Pandas DataFram中的 NaN 值
问题
NaN 代表 Not A Number,是表示数据中缺失值的常用方法之一。它是一个特殊的浮点值,不能转换为 float 以外的任何其他类型。NaN 值是数据分析中的主要问题之一。为了得到理想的结果,对 NaN 进行处理是非常必要的。
方法
用零替换Pandas DataFram中的 NaN 值的方法:
- fillna(): 用于使用指定的方法填充 NA/NaN 值。
- replace():
dataframe.replace()
函数用于替换字符串、正则表达式、列表、字典的简单方法。
下面以替换为0举例, 可以替换为任意值,依照个人情况考虑。关于上述两个函数的用法,可以参考官方链接,功能很强大。
替换 NaN 值的步骤
- 对一列数据使用
fillna()
:
df['DataFrame Column'] = df['DataFrame Column'].fillna(0)
- 对一列数据使用
replace
:
df['DataFrame Column'] = df['DataFrame Column'].replace(np.nan, 0)
- 对整个数据使用
fillna()
:
df.fillna(0)
- 对整个数据使用
replace
:
df.replace(np.nan, 0)
示例
- 对一列数据使用
fillna()
# importing libraries
import pandas as pd
import numpy as np
nums = 'Set_of_Numbers': [2, 3, 5, 7, 11, 13, np.nan, 19, 23, np.nan]
# Create the dataframe
df = pd.DataFrame(nums, columns =['Set_of_Numbers'])
# Apply the function
df['Set_of_Numbers'] = df['Set_of_Numbers'].fillna(0)
# print the DataFrame
df
- 对一列数据使用
replace()
# importing libraries
import pandas as pd
import numpy as np
nums = 'Car Model Number': [223, np.nan, 237, 195, np.nan,
575, 110, 313, np.nan, 190, 143,
np.nan],
'Engine Number': [4511, np.nan, 7570, 1565, 1450, 3786,
2995, 5345, 7777, 2323, 2785, 1120]
# Create the dataframe
df = pd.DataFrame(nums, columns=['Car Model Number'])
# Apply the function
df['Car Model Number'] = df['Car Model Number'].replace(np.nan, 0)
# print the DataFrame
df
- 对所有数据使用
fillna()
# importing libraries
import pandas as pd
import numpy as np
nums = 'Number_set_1': [0, 1, 1, 2, 3, 5, np.nan, 13, 21, np.nan],
'Number_set_2': [3, 7, np.nan, 23, 31, 41, np.nan, 59, 67, np.nan],
'Number_set_3': [2, 3, 5, np.nan, 11, 13, 17, 19, 23, np.nan]
# Create the dataframe
df = pd.DataFrame(nums)
# Apply the function
df = df.fillna(0)
# print the DataFrame
df
- 对所有数据使用
replace()
# importing libraries
import pandas as pd
import numpy as np
nums =
'Student Name': [ 'Shrek', 'Shivansh', 'Ishdeep', 'Siddharth', 'Nakul', 'Prakhar', 'Yash', 'Srikar', 'Kaustubh', 'Aditya', 'Manav', 'Dubey'],
'Roll No.': [ 18229, 18232, np.nan, 18247, 18136, np.nan, 18283, 18310, 18102, 18012, 18121, 18168],
'Subject ID': [204, np.nan, 201, 105, np.nan, 204, 101, 101, np.nan, 165, 715, np.nan],
'Grade Point': [9, np.nan, 7, np.nan, 8, 7, 9, 10, np.nan, 9, 6, 8]
# Create the dataframe
df = pd.DataFrame(nums)
# Apply the function
df = df.replace(np.nan, 0)
# print the DataFrame
df
参考
- https://www.heywhale.com/mw/project/5d86eced8499bc002c108cc8
- https://www.geeksforgeeks.org/replace-nan-values-with-zeros-in-pandas-dataframe/
- https://pandas.pydata.org/docs/reference/api/pandas.DataFrame.fillna.html
- https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.replace.html
pandas删除nan数据,筛选出nan的数据,筛选出非nan的数据,替换nan值
在处理缺失值的时候,总会遇到各种问题
目录
5.删除指定某一列有nan,这样即可定位到所在行的index,然后对该index进行drop操作即可df[np.isnan(df[‘open’])].index #定位某一列是否有nan
直接drop对应indx即可删除该行df.drop(df[np.isnan(df[‘open’])].index, inplace=True)
6. df1 = df.dropna(axis=0, how=‘all’, subset=[‘d’, ‘c’]) #删除指定的两列都是空的行
import pandas as pd
data = pd.read_excel(r'测试数据.xlsx')
print(data)
先看看如下数据
1.删除全部为nan的行
import pandas as pd
data = pd.read_excel(r'测试数据.xlsx')
print(data)
# 删除表中全部为NaN的行
data = data.dropna(axis=0, how='all')
print(data)
输出:
2.删除含有nan的行
import pandas as pd
data = pd.read_excel(r'测试数据.xlsx')
print(data)
# 删除表中含有NaN的行
data = data.dropna(axis=0, how='any')
print(data)
输出:
3.删除全部为nan的列
# 删除全部为nan的列
data = data.dropna(axis=1, how='all')
数据如下:
输出:
4. 删除包含nan的列
# 删除包含nan的列
data = data.dropna(axis=1, how='any')
数据如下
输出:
5.删除指定某一列有nan,这样即可定位到所在行的index,然后对该index进行drop操作即可
df[np.isnan(df[‘open’])].index #定位某一列是否有nan
直接drop对应indx即可删除该行
df.drop(df[np.isnan(df[‘open’])].index, inplace=True)
数据如下:
输出:
6. df1 = df.dropna(axis=0, how=‘all’, subset=[‘d’, ‘c’]) #删除指定的两列都是空的行
7.筛选出nan的数据
df_nan = df[df['往来单位编号'].isna()]
8.筛选出非nan的数据
df_notnan = df[~df['往来单位编号'].isna()]
9.替换nan值
df.fillna('', inplace=True) # 将nan替换为'',否则无法保存到MySQL
10.有时候是空字符串的情况
nan_df = df[(df['xxx'].str.len() <= 5) | (df['xxx'].isna())]
以上是关于Pandas 替换 NaN 值的主要内容,如果未能解决你的问题,请参考以下文章
pandas:用列中的最后一个非 NaN 值替换 NaN [重复]
python 替换Pandas中的缺失值(NaN)(Python)
Pandas:用前一个和下一个非缺失值的平均值动态替换 NaN 值
pandas如何使用groupby [duplicate]将NaN值替换为平均值