熊猫将两列与空值结合起来

Posted

技术标签:

【中文标题】熊猫将两列与空值结合起来【英文标题】:pandas combine two columns with null values 【发布时间】:2017-05-17 21:38:58 【问题描述】:

我有一个包含两列的 df,我想合并两列而忽略 NaN 值。问题是有时两列都有 NaN 值,在这种情况下,我希望新列也有 NaN。示例如下:

df = pd.DataFrame('foodstuff':['apple-martini', 'apple-pie', None, None, None], 'type':[None, None, 'strawberry-tart', 'dessert', None])

df
Out[10]:
foodstuff   type
0   apple-martini   None
1   apple-pie   None
2   None    strawberry-tart
3   None    dessert
4   None    None

我尝试使用fillna 来解决这个问题:

df['foodstuff'].fillna('') + df['type'].fillna('')

我得到了:

0      apple-martini
1          apple-pie
2    strawberry-tart
3            dessert
4                   
dtype: object

第 4 行已成为空白值。在这种情况下我不想要的是 NaN 值,因为两个组合列都是 NaN。

0      apple-martini
1          apple-pie
2    strawberry-tart
3            dessert
4            None       
dtype: object

【问题讨论】:

【参考方案1】:

如果您处理的列包含其他列不包含的内容,反之亦然,则可以完成这项工作的单行列

>>> df.rename(columns='type': 'foodstuff').stack().unstack()
         foodstuff
0    apple-martini
1        apple-pie
2  strawberry-tart
3          dessert

...如果您有多个要“复杂”的列,则该解决方案也可以很好地概括,只要您可以定义 ~.rename 映射。这种重命名的目的是创建~.stack().unstack() 将为您处理的重复项。

如上所述,此解决方案仅适用于具有正交列的配置,即从不同时被赋值的列。

【讨论】:

在我的情况下 pd.DataFrame.stack() 进行列组合。 unstack 取消组合。【参考方案2】:

我们可以让这个问题更加完整,并为这类问题提供一个通用的解决方案。

其中的关键是我们希望将一组列连接在一起,但忽略NaNs。

这是我的答案:

df = pd.DataFrame('foodstuff':['apple-martini', 'apple-pie', None, None, None], 
               'type':[None, None, 'strawberry-tart', 'dessert', None],
              'type1':[98324, None, None, 'banan', None],
              'type2':[3, None, 'strawberry-tart', np.nan, None])

df=df.fillna("NAN")
df=df.astype('str')
df["output"] = df[['foodstuff', 'type', 'type1', 'type2']].agg(', '.join, axis=1)
df['output'] = df['output'].str.replace('NAN, ', '')
df['output'] = df['output'].str.replace(', NAN', '')

【讨论】:

【参考方案3】:

    您可以将非零值替换为列名,例如

    df1= df.replace(1, pd.Series(df.columns, df.columns))

    用空字符串替换 0,然后像下面这样合并列

    f = f.replace(0, '') f['new'] = f.First+f.Second+f.Three+f.Four

请参阅下面的完整代码。

import pandas as pd
df = pd.DataFrame('Second':[0,1,0,0],'First':[1,0,0,0],'Three':[0,0,1,0],'Four':[0,0,0,1], 'cl': ['3D', 'Wireless','Accounting','cisco'])
df2=pd.DataFrame('pi':['Accounting','cisco','3D','Wireless'])
df1= df.replace(1, pd.Series(df.columns, df.columns))
f = pd.merge(df1,df2,how='right',left_on=['cl'],right_on=['pi'])
f = f.replace(0, '')
f['new'] = f.First+f.Second+f.Three+f.Four

df1:

In [3]: df1                                                                                                                                                                              
Out[3]: 
   Second  First  Three  Four          cl
0       0  First      0     0          3D
1  Second      0      0     0    Wireless
2       0      0  Three     0  Accounting
3       0      0      0  Four       cisco

df2:

In [4]: df2                                                                                                                                                                              
Out[4]: 
           pi
0  Accounting
1       cisco
2          3D
3    Wireless

最终的 df 将是:

In [2]: f                                                                                                                                                                                
Out[2]: 
   Second  First  Three  Four          cl          pi     new
0          First                       3D          3D   First
1  Second                        Wireless    Wireless  Second
2                 Three        Accounting  Accounting   Three
3                        Four       cisco       cisco    Four

【讨论】:

【参考方案4】:

您可以将combine 方法与lambda 一起使用:

df['foodstuff'].combine(df['type'], lambda a, b: ((a or "") + (b or "")) or None, None)

(a or "") 如果 a 是 None,则返回 "",然后将相同的逻辑应用于串联(如果串联为空字符串,则结果将为 None)。

【讨论】:

【参考方案5】: fillna 两列一起 sum(1) 添加他们 replace('', np.nan)
df.fillna('').sum(1).replace('', np.nan)

0      apple-martini
1          apple-pie
2    strawberry-tart
3            dessert
4                NaN
dtype: object

【讨论】:

【参考方案6】:

在一列上使用fillna,另一列是填充值:

df['foodstuff'].fillna(df['type'])

结果输出:

0      apple-martini
1          apple-pie
2    strawberry-tart
3            dessert
4               None

【讨论】:

这只是因为提供了一个相当不切实际的例子,其中每行总是至少有一个 None。 @kilgoretrout 我发现即使两列都包含空值也可以工作 是否有任何选项可以删除同一行中fillna 之后的'type 列。?即通过避免另一个'drop`语句【参考方案7】:

你总是可以用 None 填充新列中的空字符串

import numpy as np

df['new_col'].replace(r'^\s*$', np.nan, regex=True, inplace=True)

完整代码:

import pandas as pd
import numpy as np

df = pd.DataFrame('foodstuff':['apple-martini', 'apple-pie', None, None, None], 'type':[None, None, 'strawberry-tart', 'dessert', None])

df['new_col'] = df['foodstuff'].fillna('') + df['type'].fillna('')

df['new_col'].replace(r'^\s*$', np.nan, regex=True, inplace=True)

df

输出:

    foodstuff   type    new_col
0   apple-martini   None    apple-martini
1   apple-pie   None    apple-pie
2   None    strawberry-tart strawberry-tart
3   None    dessert dessert
4   None    None    NaN

【讨论】:

一般解决方案还应为数字数据类型提供零替换值 (.fillna(default_str_or_val))

以上是关于熊猫将两列与空值结合起来的主要内容,如果未能解决你的问题,请参考以下文章

将两列与另外两列匹配

如何将两列数据框与 Nan 值结合起来? [复制]

如何将两列与数据合并,如果一列的单元格为空,则相邻的单元格已满?

如何将 R 中的两列与特定符号合并?

熊猫:对两列一起排序[重复]

将两组十列重新排列成两列[关闭]