Azure Databricks 和 pyspark - 子字符串错误

Posted

技术标签:

【中文标题】Azure Databricks 和 pyspark - 子字符串错误【英文标题】:Azure Databricks & pyspark - substring errors 【发布时间】:2020-10-23 08:23:18 【问题描述】:

我的 Databricks Spark 脚本出现两个错误,代码如下:

df = spark.createDataFrame(pdDf).withColumn('month', substring(col('dt'), 0, 7))

第一个:

AttributeError: 'Series' object has no attribute 'substr'

NameError: name 'substr' is not defined

我想知道我做错了什么......

【问题讨论】:

【参考方案1】:

原来我没有导入 pyspark.sql.functions

from pyspark.sql.functions import *

【讨论】:

以上是关于Azure Databricks 和 pyspark - 子字符串错误的主要内容,如果未能解决你的问题,请参考以下文章

Azure Data PlatformETL工具(19)——Azure Databricks

Azure Data PlatformETL工具(19)——Azure Databricks

使用 azure databricks 读取 azure databricks 日志 json 文件

在 Azure 中检查 Databricks 运行时的版本

Databricks:将数据框合并到 Azure 突触表中

Azure Data PlatformETL工具(22)——Azure Databricks与ADF整合