5Python 数据分析-Pandas数据清洗

Posted 自己有自己的调调、

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了5Python 数据分析-Pandas数据清洗相关的知识,希望对你有一定的参考价值。

1、 处理重复数据drop_duplicates函数

#设定一些重复行数据
df.iloc[1] = [0,0,0,0,0,0,0,0]
df.iloc[3] = [0,0,0,0,0,0,0,0]
df.iloc[5] = [0,0,0,0,0,0,0,0]
df.iloc[7] = [0,0,0,0,0,0,0,0]

df.drop_duplicates(keep=\'first\')#keep=\'first\'只保留第一次出现的重复数据,last相反,只保留最后一次出现的重复数据,其他重复数据不保留

2、处理异常数据

自定义一个10行3列(A,B,C)取值范围为0-1的数据源,然后将C列中的值大于其两倍标准差的异常值进行清洗

from pandas import DataFrame
import numpy as np

df = DataFrame(data=np.random.random(size=(10,3)),columns=[\'A\',\'B\',\'C\'])
df.head(10)

#判定异常值的条件
std_twice = df[\'C\'].std()*2
>>>
0.41596053666447336
# 将存有异常值的行进行删除
df[\'C\'] > std_twice
# 将存有异常值的行数据取出
df.loc[df[\'C\'] > std_twice]
# 获取异常值对应的行索引
indexs = df.loc[df[\'C\'] > std_twice].index
df.drop(labels=indexs,axis=0)

以上是关于5Python 数据分析-Pandas数据清洗的主要内容,如果未能解决你的问题,请参考以下文章

2.pandas数据清洗

#yyds干货盘点#Pandas数据清洗实用指南

数据分析03 /基于pandas的数据清洗级联合并

学习pandas全套代码超详细数据查看输入输出选取集成清洗转换重塑数学和统计方法排序

用pandas进行数据清洗(Data Analysis Pandas Data Munging/Wrangling)

Pandas:数据清洗