python pandas dataframe 去重函数

Posted 张某人ER

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了python pandas dataframe 去重函数相关的知识,希望对你有一定的参考价值。

今天笔者想对pandas中的行进行去重操作,找了好久,才找到相关的函数

先看一个小例子


from pandas import Series, DataFrame

data = DataFrame('k': [1, 1, 2, 2])

print data

IsDuplicated = data.duplicated()

print IsDuplicated
print type(IsDuplicated)

data = data.drop_duplicates()
print data


执行结果是:


   k
0  1
1  1
2  2
3  2
0    False
1     True
2    False
3     True
   k
0  1
2  2


DataFrame的duplicated方法返回一个布尔型Series,表示各行是否重复行。


而 drop_duplicates方法,它用于返回一个移除了重复行的DataFrame


这两个方法会判断全部列,你也可以指定部分列进行重复项判段。

例如,希望对名字为k2的列进行去重,

data.drop_duplicates(['k2'])



以上是关于python pandas dataframe 去重函数的主要内容,如果未能解决你的问题,请参考以下文章

python pandas使用经验

python pandas dataframe 写入hdfs

python:pandas之DataFrame取行列(df.loc(),df.iloc())以及索引

Python Pandas -- DataFrame

Python中DataFrames的DataFrame(Pandas)

Python pandas DataFrame的切片取值