如何使用 pyspark 将 null 分配给配置单元表列

Posted 2023-04-15

【中文标题】如何使用 pyspark 将 null 分配给配置单元表列

【英文标题】：How to assign null to a hive table column using pyspark

【发布时间】：2020-05-05 14:12:19

【问题描述】：

我的 pyspark 脚本正在填充一个 hive 表，并且需要将一列初始化为 null，以便使用代码可以在 select 语句期间检查 when(df.columname.isNull())， 请告知如何在写入 hive 表时将列名设置为 null。

【问题讨论】：

请提供更多信息

我有 hive 表，hive 表中的一列需要用空值初始化。如何使用 pyspark 实现这一目标？

【参考方案1】：

lit(None).alias(Column_name) 将给出结果 在 hive 或 beeline Column_name 为 null 将返回 true