pandas中两个dataframe怎么比较

Posted 2023-05-15

res = df1.values.ravel() == df2.values.ravel()
将两个df的values展开成行向量，再比较。res返回的结果，如果是完全相同，res里面全部是True，如果有不相同的值，就会有False。再根据展开后的位置找到原来对应的位置就可以找到不相同的值的位置了。 参考技术A pandas的dataframe怎么按大小分割成几个dataframe bins = np.arange(0, 10, 5) pd.cut(frame, bin, right=False)本回答被提问者采纳 参考技术B pandas的dataframe怎么按大小分割成几个dataframe

pandas将Series转成DataFrame

1.Series结构

pandas中，我们使用最多的两个数据结构，分别为Series与DataFrame。

Series跟一维数组比较像，可以认为是dataframe中的"一列"。与一维数组不同的是，除了数组数据以外，他还有一组与数组数据对应的标签索引。

2.将Series转成DataFrame

2.1 使用字典的方式转化

import pandas as pd

department = ['A', 'A', 'A', 'B', 'B', 'B', 'C', 'C']
group = ['g1', 'g1', 'g2', 'g3', 'g3', 'g4', 'g5', 'g5']
data = pd.DataFrame('department': department, 'group': group)

d2 = data.groupby('department')['group'].apply(lambda x: ",".join(x))
print("d2 is: ", '\\n', d2, "\\nd2 type is: ", type(d2), '\\n')
d2 = pd.DataFrame('department': d2.index, 'group': d2.values)
print("after change, d2 is: ", '\\n', d2, '\\nd2 type is: ', type(d2), '\\n')

上面的代码中，data进行groupby操作以后取group列，得到的就是一个Series结构。

d2 is:  
 department
A    g1,g1,g2
B    g3,g3,g4
C       g5,g5
Name: group, dtype: object 
d2 type is:  <class 'pandas.core.series.Series'> 

该Series的index是department列，department列的值为A,B,C。具体的值为group，上面的逻辑是将相同department的group值进行聚合。

我们想将其转成一个dataframe，可以使用字典的方式，直接创建一个新的dataframe。d2.index表示Series的索引，d2.values表示Series的数据。

after change, d2 is:  
   department     group
0          A  g1,g1,g2
1          B  g3,g3,g4
2          C     g5,g5 
d2 type is:  <class 'pandas.core.frame.DataFrame'> 

2.2 使用reset_index方法

还可以使用reset_index的方式，来将Series转化为dataframe。

d3 = data.groupby('department')['group'].apply(lambda x: ','.join(x))
d3 = d3.reset_index(name='group')
d3['group'] = d3['group'].map(lambda x: ','.join(sorted(list(set(x.split(','))))))
print(d3)

上面的代码也将Series转换成了一个dataframe，与前面稍微有所区别的在于，对group还进行了去重排序操作。

最后输出的结果为

  department  group
0          A  g1,g2
1          B  g3,g4
2          C     g5

3.apply，applymap, map

上面的代码中，用到了有apply方法，map方法，还有一个applymap方法，稍微总结一下这几个方法的区别：

import pandas as pd

a = [1, 2, 3, 4, 5]
b = [10, 20, 30, 40, 50]
c = [0.1, 0.2, 0.3, 0.4, 0.5]

data = pd.DataFrame('a': a, 'b': b, 'c': c)
print(data.apply(max), '\\n')
print(data.a.apply(lambda x: x * 2), '\\n')

print(data.applymap(lambda x: x+0.01), '\\n')

print(data.a.map(lambda x: x+0.02))

a     5.0
b    50.0
c     0.5
dtype: float64 

0     2
1     4
2     6
3     8
4    10
Name: a, dtype: int64 

      a      b     c
0  1.01  10.01  0.11
1  2.01  20.01  0.21
2  3.01  30.01  0.31
3  4.01  40.01  0.41
4  5.01  50.01  0.51 

0    1.02
1    2.02
2    3.02
3    4.02
4    5.02
Name: a, dtype: float64

apply可以用于Series，也可以用于DataFrame，可以对一列或多列进行操作。
applymap只能作用于dataframe，是对dataframe的每一个元素进行操作。
map只能作用于Series，其对Series中每个元素起作用。