从 pandas 数据框中删除具有空列表的行

Posted 2023-02-23

【中文标题】从 pandas 数据框中删除具有空列表的行

【英文标题】：Remove rows with empty lists from pandas data frame

【发布时间】：2016-03-13 18:29:55

【问题描述】：

我有一个数据框，其中一些列带有空列表，而其他列带有字符串列表：

       donation_orgs                              donation_context
0            []                                           []
1   [the research of Dr. ...]   [In lieu of flowers , memorial donations ...]

我正在尝试返回一个没有任何空列表行的数据集。

我试过只检查空值：

dfnotnull = df[df.donation_orgs != []]
dfnotnull

和

dfnotnull = df[df.notnull().any(axis=1)]
pd.options.display.max_rows=500
dfnotnull

我已经尝试循环并检查存在的值，但我认为列表没有像我想象的那样返回 Null 或 None：

dfnotnull = pd.DataFrame(columns=('donation_orgs', 'donation_context'))
for i in range(0,len(df)):
    if df['donation_orgs'].iloc(i):
        dfnotnull.loc[i] = df.iloc[i]

上述所有三种方法都只是简单地返回原始数据框中的每一行。=

【问题讨论】：

根据我的经验，将数据保存在数据框中的列表中是非常危险的。它会使分组和聚合函数出错。如果必须这样做，请考虑使用元组，这似乎效果更好。

【参考方案1】：

假设您从 CSV 读取数据，另一个可能的解决方案可能是：

import pandas as pd

df = pd.read_csv('data.csv', na_filter=True, na_values='[]')
df.dropna()

na_filter 定义附加字符串以识别为 NaN。我在pandas-0.24.2 上对此进行了测试。

【参考方案2】：

为避免转换为str 并实际使用lists，您可以这样做：

df[df['donation_orgs'].map(lambda d: len(d)) > 0]

它将donation_orgs 列映射到每一行的列表长度，并仅保留具有至少一个元素的那些，过滤掉空列表。

返回

Out[1]: 
                            donation_context          donation_orgs
1  [In lieu of flowers , memorial donations]  [the research of Dr.]

正如预期的那样。

【讨论】：

这应该是公认的答案。它更优雅

df[df['donation_orgs'].map(len) > 0]，甚至df[df['donation_orgs'].map(bool)]

【参考方案3】：

您可以使用以下单线：

df[(df['donation_orgs'].str.len() != 0) | (df['donation_context'].str.len() != 0)]

【参考方案4】：

您可以尝试像数据框是字符串而不是列表一样进行切片：

import pandas as pd
df = pd.DataFrame(
'donation_orgs' : [[], ['the research of Dr.']],
'donation_context': [[], ['In lieu of flowers , memorial donations']])

df[df.astype(str)['donation_orgs'] != '[]']

Out[9]: 
                            donation_context          donation_orgs
1  [In lieu of flowers , memorial donations]  [the research of Dr.]