缺失值重复值处理

Posted 2020-12-15 calculus9

缺失值处理

1.当缺失值的比例占数据样本的比例比较小，则可以直接删除。

2.数据补齐

查看缺失值

df = pd.read_excel(r‘缺失值处理.xlsx‘)
df

每列缺失值的总数

df.isnull().sum()

列缺失值所占的比例

#apply
df.apply(lambda x: sum(x.isnull())/len(x), axis=0)

删除缺失值

#dropna
df.dropna(inplace=True) 
#删除列
df.dropna(axis=1
# 设置整行或整列为空时才删除
df.dropna(how=‘all‘)) 

暂无的替换

#1.导入数据时直接替换 na_values
df = pd.read_excel(‘缺失值处理_替换值.xlsx‘, na_values=‘暂无‘)
df
#2.np.nan
df.replace(‘暂无‘, np.nan, inplace=True)

替换单位(eg:万)

df[‘售价‘].apply(lambda x:str(x).replace(‘万‘,‘‘))
#!!缺失值出错=>
df[‘售价‘].apply(lambda x:str(x).replace(‘万‘,‘‘) if x is not np.nan else x)

计算平均值

df[‘售价‘]=df[‘售价‘].astype(np.float)

替换缺失值

#fillna
df.fillna({‘售价‘: df[‘售价‘].mean()})
#mean是平均值

重复值

重复值处理

#df.drop_duplicates()
df=pd.read_excel(r‘重复值处理.xlsx‘)
df.drop_duplicates()
#保留位置keep=‘first‘,‘last‘
#判重 subset=[‘日期‘,‘售价‘]

重置index

#df.resetindex
df.reset_index()