Python：如何删除特定列为空/NaN 的行？

Posted 2023-03-11

【中文标题】Python：如何删除特定列为空/NaN 的行？

【英文标题】：Python: How to drop a row whose particular column is empty/NaN?

【发布时间】：2018-02-15 22:20:20

【问题描述】：

我有一个 csv 文件。我读了：

import pandas as pd
data = pd.read_csv('my_data.csv', sep=',')
data.head()

它的输出如下：

id    city    department    sms    category
01    khi      revenue      NaN       0
02    lhr      revenue      good      1
03    lhr      revenue      NaN       0

我想删除sms 列为空/NaN 的所有行。什么是有效的方法？

【问题讨论】：

我重新提出问题，因为 OP 需要最有效的方法。

【参考方案1】：

使用dropna 和参数subset 指定检查列NaNs：

data = data.dropna(subset=['sms'])
print (data)
   id city department   sms  category
1   2  lhr    revenue  good         1

boolean indexing 和 notnull 的另一种解决方案：

data = data[data['sms'].notnull()]
print (data)
   id city department   sms  category
1   2  lhr    revenue  good         1

替代query:

print (data.query("sms == sms"))
   id city department   sms  category
1   2  lhr    revenue  good         1

时间安排

#[300000 rows x 5 columns]
data = pd.concat([data]*100000).reset_index(drop=True)

In [123]: %timeit (data.dropna(subset=['sms']))
100 loops, best of 3: 19.5 ms per loop

In [124]: %timeit (data[data['sms'].notnull()])
100 loops, best of 3: 13.8 ms per loop

In [125]: %timeit (data.query("sms == sms"))
10 loops, best of 3: 23.6 ms per loop

【讨论】：

如果我错了请纠正我，所以第三个是最有效的方法？

@Danish - 嗯，你的数据中最好的测试，但我认为 dropna。查询最慢。

查询一等号背后的逻辑是什么？

@Caterina - 如果检查 docs 和 In [12]: np.nan == np.nan Out[12]: False 这意味着如果将列 sms 与同一列 sms 进行比较，它将为缺失值生成 False 并为缺失值生成 True非缺失值。

【参考方案2】：

您可以为此使用方法dropna：

data.dropna(axis=0, subset=('sms', ))

有关参数的更多详细信息，请参阅documentation。

当然，有多种方法可以做到这一点，并且存在一些细微的性能差异。除非性能很关键，否则我更喜欢使用dropna()，因为它最有表现力。

import pandas as pd
import numpy as np

i = 10000000

# generate dataframe with a few columns
df = pd.DataFrame(dict(
    a_number=np.random.randint(0,1e6,size=i),
    with_nans=np.random.choice([np.nan, 'good', 'bad', 'ok'], size=i),
    letter=np.random.choice(list('abcdefghijklmnop'), size=i))
                 )

# using notebook %%timeit
a = df.dropna(subset=['with_nans'])
#1.29 s ± 112 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

# using notebook %%timeit
b = df[~df.with_nans.isnull()]
#890 ms ± 59.8 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

# using notebook %%timeit
c = df.query('with_nans == with_nans')
#1.71 s ± 100 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)