python pandas dataframe 去重函数
Posted 张某人ER
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了python pandas dataframe 去重函数相关的知识,希望对你有一定的参考价值。
今天笔者想对pandas中的行进行去重操作,找了好久,才找到相关的函数
先看一个小例子
from pandas import Series, DataFrame
data = DataFrame('k': [1, 1, 2, 2])
print data
IsDuplicated = data.duplicated()
print IsDuplicated
print type(IsDuplicated)
data = data.drop_duplicates()
print data
执行结果是:
k
0 1
1 1
2 2
3 2
0 False
1 True
2 False
3 True
k
0 1
2 2
DataFrame的duplicated方法返回一个布尔型Series,表示各行是否重复行。
而 drop_duplicates方法,它用于返回一个移除了重复行的DataFrame
这两个方法会判断全部列,你也可以指定部分列进行重复项判段。
例如,希望对名字为k2的列进行去重,
data.drop_duplicates(['k2'])
以上是关于python pandas dataframe 去重函数的主要内容,如果未能解决你的问题,请参考以下文章
python pandas dataframe 写入hdfs
python:pandas之DataFrame取行列(df.loc(),df.iloc())以及索引