根据数据类型获取 pandas 数据框列的列表
Posted
技术标签:
【中文标题】根据数据类型获取 pandas 数据框列的列表【英文标题】：Get list of pandas dataframe columns based on data type 【发布时间】：2014-04-23 14:55:27 【问题描述】：如果我有一个包含以下列的数据框：
1. NAME object
2. On_Time object
3. On_Budget object
4. %actual_hr float64
5. Baseline Start Date datetime64[ns]
6. Forecast Start Date datetime64[ns]
我想说：对于这个数据框，给我一个'object'类型或'datetime'类型的列的列表？
我有一个将数字（'float64'）转换为小数点后两位的函数，我想使用此特定类型的数据帧列列表，并通过此函数运行它以将它们全部转换为 2dp。
可能是这样的：
For c in col_list: if c.dtype = "Something"
list[]
List.append(c)?
【问题讨论】：
当我遇到这个问题时，我正在寻找一种方法来精确地创建顶部的列表。df.dtypes 这样做。
访问者也可能对这个不同但相关的问题感兴趣，该问题是关于如何在每列中查找所有对象类型：How could I detect subtypes in pandas object columns?。
【参考方案1】：
df = pd.DataFrame('float': [1.0],
'int': [1],
'bool_1': [False],
'datetime': [pd.Timestamp('20180310')],
'bool_2': [True],
'string': ['foo'])
df.dtypes
# float float64
# int int64
# bool_1 bool
# datetime datetime64[ns]
# bool_2 bool
# string object
# dtype: object
[column for column, is_type in (df.dtypes==bool).items() if is_type]
# ['bool_1', 'bool_2']
【讨论】：
【参考方案2】：从 pandas v0.14.1 开始，您可以使用 select_dtypes() 按 dtype 选择列
In [2]: df = pd.DataFrame('NAME': list('abcdef'),
'On_Time': [True, False] * 3,
'On_Budget': [False, True] * 3)
In [3]: df.select_dtypes(include=['bool'])
Out[3]:
On_Budget On_Time
0 False True
1 True False
2 False True
3 True False
4 False True
5 True False
In [4]: mylist = list(df.select_dtypes(include=['bool']).columns)
In [5]: mylist
Out[5]: ['On_Budget', 'On_Time']
【讨论】：
【参考方案3】：如果 6 年后问题仍然存在，这应该可以解决：)
cols = [c for c in df.columns if df[c].dtype in ['object', 'datetime64[ns]']]
【讨论】：
【参考方案4】：list(df.select_dtypes(['object']).columns)
这应该可以解决问题
【讨论】：
这里最干净的答案。.columns 可以删除【参考方案5】：
使用df.info(verbose=True)，其中df是pandas数据农场，默认verbose=False
【讨论】：
如果表很大，可能会出现内存问题【参考方案6】：我使用 infer_objects()
Docstring：尝试为对象列推断更好的 dtype。
尝试对对象类型的列进行软转换，保留非对象 和不可转换的列不变。推理规则是一样的 就像在正常的 Series/DataFrame 构造过程中一样。
df.infer_objects().dtypes
【讨论】：
【参考方案7】：为 yoshiserry;
def col_types(x,pd):
dtypes=x.dtypes
dtypes_col=dtypes.index
dtypes_type=dtypes.value
column_types=dict(zip(dtypes_col,dtypes_type))
return column_types
【讨论】：
【参考方案8】：我想出了这三个班轮。
基本上，这就是它的作用：
-
获取列名及其各自的数据类型。
我可以选择将其输出到 csv。
inp = pd.read_csv('filename.csv') # read input. Add read_csv arguments as needed
columns = pd.DataFrame('column_names': inp.columns, 'datatypes': inp.dtypes)
columns.to_csv(inp+'columns_list.csv', encoding='utf-8') # encoding is optional
这让我在尝试生成模式时变得更加轻松。希望这会有所帮助
【讨论】：
【参考方案9】：获取特定 dtype 列列表的最直接方法，例如'对象'：
df.select_dtypes(include='object').columns
例如：
>>df = pd.DataFrame([[1, 2.3456, 'c', 'd', 78]], columns=list("ABCDE"))
>>df.dtypes
A int64
B float64
C object
D object
E int64
dtype: object
获取所有 'object' dtype 列：
>>df.select_dtypes(include='object').columns
Index(['C', 'D'], dtype='object')
仅用于列表：
>>list(df.select_dtypes(include='object').columns)
['C', 'D']
【讨论】：
【参考方案10】：使用dtype 将为您提供所需列的数据类型：
dataframe['column1'].dtype
如果你想一次知道所有列的数据类型，你可以使用dtype的复数作为dtypes：
dataframe.dtypes
【讨论】：
这应该是公认的答案，它几乎以 OP 想要的格式打印数据类型。 问题是关于仅列出特定数据类型，例如使用df.select_dtypes(include=['Object','DateTime']).columns，如下所述【参考方案11】：
如果你想要一个只有对象列的列表，你可以这样做：
non_numerics = [x for x in df.columns \
if not (df[x].dtype == np.float64 \
or df[x].dtype == np.int64)]
然后，如果您想获得另一个仅包含数字的列表：
numerics = [x for x in df.columns if x not in non_numerics]
【讨论】：
【参考方案12】：如果你想要某个类型的列的列表，你可以使用groupby:
>>> df = pd.DataFrame([[1, 2.3456, 'c', 'd', 78]], columns=list("ABCDE"))
>>> df
A B C D E
0 1 2.3456 c d 78
[1 rows x 5 columns]
>>> df.dtypes
A int64
B float64
C object
D object
E int64
dtype: object
>>> g = df.columns.to_series().groupby(df.dtypes).groups
>>> g
dtype('int64'): ['A', 'E'], dtype('float64'): ['B'], dtype('O'): ['C', 'D']
>>> k.name: v for k, v in g.items()
'object': ['C', 'D'], 'int64': ['A', 'E'], 'float64': ['B']
【讨论】：
这可用作数据质量检查，可确保列的类型符合预期。 如果您的所有数据框列都返回object 类型，则无论其实际内容如何，这都不起作用
@user5359531 这并不意味着它不起作用，这实际上意味着您的 DataFrame 列没有转换为您认为应该的类型，这可能由于多种原因而发生。
如果您只是按数据类型选择列，那么这个答案已经过时了。请改用select_dtypes
之后你如何索引这个分组的数据框？【参考方案13】：
您可以在 dtypes 属性上使用布尔掩码：
In [11]: df = pd.DataFrame([[1, 2.3456, 'c']])
In [12]: df.dtypes
Out[12]:
0 int64
1 float64
2 object
dtype: object
In [13]: msk = df.dtypes == np.float64 # or object, etc.
In [14]: msk
Out[14]:
0 False
1 True
2 False
dtype: bool
您可以只查看具有所需 dtype 的那些列：
In [15]: df.loc[:, msk]
Out[15]:
1
0 2.3456
现在您可以使用 round（或其他）并将其分配回去：
In [16]: np.round(df.loc[:, msk], 2)
Out[16]:
1
0 2.35
In [17]: df.loc[:, msk] = np.round(df.loc[:, msk], 2)
In [18]: df
Out[18]:
0 1 2
0 1 2.35 c
【讨论】：
我希望能够编写一个函数，该函数接受一个数据帧的名称，然后返回一个列表字典，字典键是数据类型，值是列表数据框中属于该数据类型的列。 def col_types(x,pd):以上是关于根据数据类型获取 pandas 数据框列的列表的主要内容，如果未能解决你的问题，请参考以下文章
循环遍历 pandas 数据框列中的列表元素以在新列中返回列表