从 pandas DataFrame 中删除名称包含特定字符串的列

Posted 2023-03-11

【中文标题】从 pandas DataFrame 中删除名称包含特定字符串的列

【英文标题】：Drop columns whose name contains a specific string from pandas DataFrame

【发布时间】：2013-10-04 22:58:43

【问题描述】：

我有一个带有以下列名称的 pandas 数据框：

Result1、Test1、Result2、Test2、Result3、Test3 等...

我想删除名称中包含“Test”一词的所有列。此类列的数量不是静态的，而是取决于先前的函数。

我该怎么做？

【参考方案1】：

这是一种方法：

df = df[df.columns.drop(list(df.filter(regex='Test')))]

【讨论】：

或直接到位：df.drop(list(df.filter(regex = 'Test')), axis = 1, inplace = True)

这是一个比公认的答案更优雅的解决方案。我会进一步分解它以说明原因，主要是提取list(df.filter(regex='Test')) 以更好地显示该行在做什么。我也会选择df.filter(regex='Test').columns而不是列表转换

这个比公认的答案更优雅。

我真的很想知道 cmets 说这个答案是“优雅”是什么意思。当python代码首先应该是可读的时，我自己觉得它很混乱。它也比第一个答案慢两倍。当like 关键字似乎更合适时，它使用regex 关键字。

这实际上并不像人们声称的那样好。 filter 的问题在于它将所有数据的副本作为您要删除的列返回。如果您只将此结果传递给drop（它再次返回一个副本），那就太浪费了......更好的解决方案是str.startswith（我在这里添加了一个answer）。

【参考方案2】：

import pandas as pd

import numpy as np

array=np.random.random((2,4))

df=pd.DataFrame(array, columns=('Test1', 'toto', 'test2', 'riri'))

print df

      Test1      toto     test2      riri
0  0.923249  0.572528  0.845464  0.144891
1  0.020438  0.332540  0.144455  0.741412

cols = [c for c in df.columns if c.lower()[:4] != 'test']

df=df[cols]

print df
       toto      riri
0  0.572528  0.144891
1  0.332540  0.741412

【讨论】：

OP 没有指定删除应该不区分大小写。

【参考方案3】：

更便宜、更快、更符合习惯：str.contains

在最新版本的 pandas 中，您可以在索引和列上使用字符串方法。在这里，str.startswith 似乎很合适。

要删除以给定子字符串开头的所有列：

df.columns.str.startswith('Test')
# array([ True, False, False, False])

df.loc[:,~df.columns.str.startswith('Test')]

  toto test2 riri
0    x     x    x
1    x     x    x

---

对于不区分大小写的匹配，您可以使用带有 SOL 锚点的 str.contains 的基于正则表达式的匹配：

df.columns.str.contains('^test', case=False)
# array([ True, False,  True, False])

df.loc[:,~df.columns.str.contains('^test', case=False)] 

  toto riri
0    x    x
1    x    x

如果可以使用混合类型，请同时指定na=False。

【讨论】：

嗨cs95，你能解释一下语法背后的语法/思想吗？为什么我们需要使用冒号和逗号？那么为什么df.loc[:,df....] vs df.loc[df....]？

在我的测试数据中，对于以_drop 结尾的列，接受的答案不能正常工作，这个解决方案确实有效。这应该是公认的答案。

【参考方案4】：

这可以在一行中巧妙地完成：

df = df.drop(df.filter(regex='Test').columns, axis=1)

【讨论】：

类似（并且更快）：df.drop(df.filter(regex='Test').columns, axis=1, inplace=True)

对于多个条件，可以这样做df.drop(df.filter(regex='Test|Rest|Best').columns, axis=1, inplace=True)

对上述解决方案的出色改编以过滤多个条件！感谢您发布此内容:)

【参考方案5】：

您可以使用“过滤器”过滤掉您想要的列

import pandas as pd
import numpy as np

data2 = ['test2': 1, 'result1': 2, 'test': 5, 'result34': 10, 'c': 20]

df = pd.DataFrame(data2)

df

    c   result1     result34    test    test2
0   NaN     2.0     NaN     NaN     1.0
1   20.0    NaN     10.0    5.0     NaN

现在过滤

df.filter(like='result',axis=1)

获取..

   result1  result34
0   2.0     NaN
1   NaN     10.0

【讨论】：

最佳答案！谢谢。你如何过滤相反的？ not like='result'

然后执行以下操作：df=df.drop(df.filter(like='result',axis=1).columns,axis=1)

【参考方案6】：

使用DataFrame.select 方法：

In [38]: df = DataFrame('Test1': randn(10), 'Test2': randn(10), 'awesome': randn(10))

In [39]: df.select(lambda x: not re.search('Test\d+', x), axis=1)
Out[39]:
   awesome
0    1.215
1    1.247
2    0.142
3    0.169
4    0.137
5   -0.971
6    0.736
7    0.214
8    0.111
9   -0.214

【讨论】：

并且操作没有指定数字必须跟随“测试”：我想删除名称中包含“测试”一词的所有列。

Test 后面的数字的假设是完全合理的。重新阅读问题。

现在看到：FutureWarning: 'select' is deprecated and will be removed in a future release. You can use .loc[labels.map(crit)] as a replacement

记得提前import re。

【参考方案7】：

使用正则表达式匹配所有不包含不需要的单词的列：

df = df.filter(regex='^((?!badword).)*$')

【参考方案8】：

此方法可以完成所有工作。许多其他答案会创建副本并且效率不高：

df.drop(df.columns[df.columns.str.contains('Test')], axis=1, inplace=True)

【参考方案9】：

问题指出“我想删除名称中包含“Test”一词的所有列。'

test_columns = [col for col in df if 'Test' in col]
df.drop(columns=test_columns, inplace=True)

【参考方案10】：

最短的方法是：

resdf = df.filter(like='Test',axis=1)

【讨论】：

这已经被this answer覆盖了。

虽然上述评论中链接的答案相似，但并不相同。事实上，情况几乎相反。

【参考方案11】：

删除包含正则表达式的列名列表时的解决方案。我更喜欢这种方法，因为我经常编辑下拉列表。对下拉列表使用否定过滤器正则表达式。

drop_column_names = ['A','B.+','C.*']
drop_columns_regex = '^(?!(?:'+'|'.join(drop_column_names)+')$)'
print('Dropping columns:',', '.join([c for c in df.columns if re.search(drop_columns_regex,c)]))
df = df.filter(regex=drop_columns_regex,axis=1)