有没有办法在 pyspark 中获取列数据类型？

Posted 2023-04-15

【中文标题】有没有办法在 pyspark 中获取列数据类型？

【英文标题】：Is there a way to get the column data type in pyspark?

【发布时间】：2018-08-01 23:12:23

【问题描述】：

已经讨论过在 pyspark 中查找列数据类型的方法是使用 df.dtypes get datatype of column using pyspark。这样做的问题是，对于像数组或结构这样的数据类型，您会得到类似 array<string> 或 array<integer> 的内容。

问题：是否有获取 pyspark 数据类型的本地方法？赞ArrayType(StringType,true)

【参考方案1】：

只需使用schema:

df.schema[column_name].dataType

【讨论】：

dict(df.dtypes)[column_name] 也有效（感谢@RobinL）。但请注意，您将获得作为字符串名称而不是正式类型名称的数据类型；例如，timestamp 与 TimestampType。