使用 PySpark 将列转换为小写

Posted 2023-04-15

【中文标题】使用 PySpark 将列转换为小写

【英文标题】：Convert column to lowercase with PySpark

【发布时间】：2020-02-25 17:08:55

【问题描述】：

我想将“频道”列中的所有值转换为小写。我有 df 在 jupyter notebook 中使用 PySpark 创建的。我尝试了here 的代码，但出现错误。所以它不是重复的。

我的数据如下所示：

id     Channel     Brand
123    Hair        Fashion
124    Nails       Fashion 

我希望它是以下内容：

id     Channel     Brand
123    hair        Fashion
124    nails       Fashion 

我尝试了以下方法：

new_df = df.select(lower(df.Channel)).alias('Channel')

这会将值转换为小写，但我丢失了其他列。

【参考方案1】：

你可以这样做：

new_df = df.withColumn('Channel', lower(df.Channel))

这也将保留其他列。