如何重命名 df 列而不将列列表临时存储到变量中？

Posted 2023-04-17

【中文标题】如何重命名 df 列而不将列列表临时存储到变量中？

【英文标题】：How to rename df columns without temporarily storing the column list into a variable?

【发布时间】：2021-04-21 10:18:55

【问题描述】：

我正在提取雪花表并将其加载到 PySpark DataFrame 中，并且我想重命名它的列。 现在，正在完成将加载的数据帧存储到变量中，然后访问列列表：

calculated_signal_df = (
    spark.read.format("snowflake")
    .options(**sfOptions)
    .option("query", "select * from iot.calculated_signal")
    .load()
)
calculated_signal_df = calculated_signal_df.toDF(*[c.lower() for c in calculated_signal_df.columns])

我实际上想知道是否可以在load() 之后直接跳过中间通道和管道toDF() 方法。我的第一个疑问是如何获取列列表。

我想到的第二种方法是预先定义原始和所需的列名，然后使用它们，但我试图根本不创建变量。

这在 Pandas 和/或 Python 中是否可行？ （我假设对 Pandas 数据帧有效的方法，对 PySpark 数据帧有效）。

【参考方案1】：

您可以使用withColumnRenamed。此外，如果您想对列Check here 执行任何操作，也有一些替代方法。Here，您可以找到一些示例。