Azure Databricks 和 pyspark - 子字符串错误
Posted
技术标签:
【中文标题】Azure Databricks 和 pyspark - 子字符串错误【英文标题】:Azure Databricks & pyspark - substring errors 【发布时间】:2020-10-23 08:23:18 【问题描述】:我的 Databricks Spark 脚本出现两个错误,代码如下:
df = spark.createDataFrame(pdDf).withColumn('month', substring(col('dt'), 0, 7))
第一个:
AttributeError: 'Series' object has no attribute 'substr'
和
NameError: name 'substr' is not defined
我想知道我做错了什么......
【问题讨论】:
【参考方案1】:原来我没有导入 pyspark.sql.functions
from pyspark.sql.functions import *
【讨论】:
以上是关于Azure Databricks 和 pyspark - 子字符串错误的主要内容,如果未能解决你的问题,请参考以下文章
Azure Data PlatformETL工具(19)——Azure Databricks
Azure Data PlatformETL工具(19)——Azure Databricks