Pandas：打印缺少值的列名

Posted 2023-03-11

【中文标题】Pandas：打印缺少值的列名

【英文标题】：Pandas: print column name with missing values

【发布时间】：2016-09-18 21:37:45

【问题描述】：

我正在尝试打印或获取缺少值的列名称列表。例如。

data1 data2 data3  
1     3     3  
2     NaN   5  
3     4     NaN  

我想得到 ['data2', 'data3']。 我写了以下代码：

print('\n'.join(map(
    lambda x : str(x[1])
    ,(filter(lambda z: z[0] != False, zip(train.isnull().any(axis=0), train.columns.values)))
)))

效果很好，但我认为应该是更简单的方法。

【问题讨论】：

谢谢大家的回答。它们都有效，但我决定检查执行时间。我得到以下值： [col for col in df.columns if df[col].isnull().any()] Time elapsed: 0:00:00.391752 df.columns[df.isnull().any()] Time elapsed: 0:00:00.396459 df.loc[:, df.isnull().any()] Time elapsed: 0:00:00.430103 我决定使用第二种变体，因为它既短又快。

【参考方案1】：

df.isnull().any() 生成一个布尔数组（如果该列有缺失值，则为 True，否则为 False）。你可以用它来索引df.columns:

df.columns[df.isnull().any()]

将返回包含缺失值的列的列表。

---

df = pd.DataFrame('A': [1, 2, 3], 
                   'B': [1, 2, np.nan], 
                   'C': [4, 5, 6], 
                   'D': [np.nan, np.nan, np.nan])

df
Out: 
   A    B  C   D
0  1  1.0  4 NaN
1  2  2.0  5 NaN
2  3  NaN  6 NaN

df.columns[df.isnull().any()]
Out: Index(['B', 'D'], dtype='object')

df.columns[df.isnull().any()].tolist()  # to get a list instead of an Index object
Out: ['B', 'D']

【参考方案2】：

Oneliner -

[col for col in df.columns if df[col].isnull().any()]

【参考方案3】：

import numpy as np
import pandas as pd

raw_data = 'first_name': ['Jason', np.nan, 'Tina', 'Jake', 'Amy'], 
        'last_name': ['Miller', np.nan, np.nan, 'Milner', 'Cooze'], 
        'age': [22, np.nan, 23, 24, 25], 
        'sex': ['m', np.nan, 'f', 'm', 'f'], 
        'Test1_Score': [4, np.nan, 0, 0, 0],
        'Test2_Score': [25, np.nan, np.nan, 0, 0]
results = pd.DataFrame(raw_data, columns = ['first_name', 'last_name', 'age', 'sex', 'Test1_Score', 'Test2_Score'])

---

results 
'''
  first_name last_name   age  sex  Test1_Score  Test2_Score
0      Jason    Miller  22.0    m          4.0         25.0
1        NaN       NaN   NaN  NaN          NaN          NaN
2       Tina       NaN  23.0    f          0.0          NaN
3       Jake    Milner  24.0    m          0.0          0.0
4        Amy     Cooze  25.0    f          0.0          0.0
'''

您可以使用以下函数，它将在 Dataframe 中为您提供输出

零值 缺失值 占总价值的百分比 总缺失值为零 % 总零缺失值 数据类型

只需复制并粘贴以下函数并通过传递您的 pandas Dataframe 来调用它

def missing_zero_values_table(df):
        zero_val = (df == 0.00).astype(int).sum(axis=0)
        mis_val = df.isnull().sum()
        mis_val_percent = 100 * df.isnull().sum() / len(df)
        mz_table = pd.concat([zero_val, mis_val, mis_val_percent], axis=1)
        mz_table = mz_table.rename(
        columns = 0 : 'Zero Values', 1 : 'Missing Values', 2 : '% of Total Values')
        mz_table['Total Zero Missing Values'] = mz_table['Zero Values'] + mz_table['Missing Values']
        mz_table['% Total Zero Missing Values'] = 100 * mz_table['Total Zero Missing Values'] / len(df)
        mz_table['Data Type'] = df.dtypes
        mz_table = mz_table[
            mz_table.iloc[:,1] != 0].sort_values(
        '% of Total Values', ascending=False).round(1)
        print ("Your selected dataframe has " + str(df.shape[1]) + " columns and " + str(df.shape[0]) + " Rows.\n"      
            "There are " + str(mz_table.shape[0]) +
              " columns that have missing values.")
#         mz_table.to_excel('D:/sampledata/missing_and_zero_values.xlsx', freeze_panes=(1,0), index = False)
        return mz_table

missing_zero_values_table(results)

输出

Your selected dataframe has 6 columns and 5 Rows.
There are 6 columns that have missing values.

             Zero Values  Missing Values  % of Total Values  Total Zero Missing Values  % Total Zero Missing Values Data Type
last_name              0               2               40.0                          2                         40.0    object
Test2_Score            2               2               40.0                          4                         80.0   float64
first_name             0               1               20.0                          1                         20.0    object
age                    0               1               20.0                          1                         20.0   float64
sex                    0               1               20.0                          1                         20.0    object
Test1_Score            3               1               20.0                          4                         80.0   float64

如果你想保持简单，那么你可以使用下面的函数来获取 % 中的缺失值

def missing(dff):
    print (round((dff.isnull().sum() * 100/ len(dff)),2).sort_values(ascending=False))


missing(results)
'''
Test2_Score    40.0
last_name      40.0
Test1_Score    20.0
sex            20.0
age            20.0
first_name     20.0
dtype: float64
'''

【参考方案4】：

另一种选择：

df.loc[:, df.isnull().any()]

【参考方案5】：

# Developing a loop to identify and remove columns where more than 50% of the values are missing#

 i = 0

 count_of_columns_removed = 0

 a = np.array([50,60,70,80,90,100])

 percent_NA = 0

for i in app2.columns:

    percent_NA = round(100*(app2[i].isnull().sum()/len(app2.index)),2)     
    # Replace app2 with relevant name

    if percent_NA >= a.all():
        print(i)
        app2 = app2.drop(columns=i)
        count_of_columns_removed += 1

print(count_of_columns_removed)

【讨论】：

嗨维尼特，欢迎！请务必在代码中添加一些文本，因为它可能有助于其他人理解您的答案。

【参考方案6】：

对于一个数据框df

missing = df.isnull().sum()
print(missing)

【参考方案7】：

df.columns[df.isnull().any()].index

【讨论】：

欢迎来到 Stack Overflow！请阅读How to Answer。不要只回答代码，并始终记住，您不仅要解决手头的问题，还要教育该问题的任何未来读者，例如您自己，因为该问题是 4 年前发布的。请edit回答包含一些关于为什么这会解决手头问题的解释。

【参考方案8】：

要获取没有任何缺失值的列名的名称：

set(df.columns[df.isnull().mean()==0])