在 PySpark 中将字符串常量添加为列时未解析的引用点亮

Posted 2023-04-15

【中文标题】在 PySpark 中将字符串常量添加为列时未解析的引用点亮

【英文标题】：Unresolved reference lit when adding a string constant as a column in PySpark

【发布时间】：2020-07-05 05:30:40

【问题描述】：

我正在尝试将字符串常量添加为 pyspark 中的新列。我正在使用 2.4.4 版本的火花。 我正在使用这个

data.withColumn("currentdate", lit(constant_name))

我收到错误“未解析的引用已点亮”。似乎 2.4.4 中没有因错误而点亮的功能，但当我看到文档时，它就在那里。

【问题讨论】：

你导入spark函数了吗？

是的，我已经使用这个“ from pyspark.sql.functions import *”导入了spark函数

试试这个 - from pyspark.sql.functions import F & use F.lit(constant_name)

我想你想说试试这个，“import pyspark.sql.functions as F”，它对我有用，谢谢

是的，对错字很抱歉.. :)

【参考方案1】：

您需要安装 pyspark-stubs 包，以便您的 IDE 解析对许多 Spark SQL 函数的引用，包括 lit 即

pip install pyspark-stubs==2.4.0.post8

【讨论】：

问题已解决，使用 import pyspark.sql.functions as F