尝试使用 apache spark 加载模块时出现 Databricks 错误 [重复]

Posted 2023-04-15

【中文标题】尝试使用 apache spark 加载模块时出现 Databricks 错误 [重复]

【英文标题】：Databricks error when trying to load a module using apache spark [duplicate]

【发布时间】：2020-01-09 13:59:08

【问题描述】：

我在 Databricks 中使用笔记本。如果有帮助，则使用 python 3 设置笔记本。一切正常，我可以从 Azure 存储中提取数据。但是当我运行时：

import org.apache.spark.sql.types.StructType

我收到错误消息

ImportError: No module named 'org'

有谁知道我将如何解决这个问题？这与笔记本在 python 中有关吗？

我今天才刚刚开始使用 Databricks，如果这是一个愚蠢的问题，我深表歉意 - 我在网上找不到任何有用的东西。

我确实尝试过运行import org.py.spark.sql.types.StructType，但这也不起作用。

谢谢

【问题讨论】：

这确实有效，谢谢。我现在有一条不同的错误消息，虽然它说'NameError：名称'列表'未定义'。有什么想法吗？

相同的基本想法 - 谷歌它:)

【参考方案1】：

问题是您试图在 Python 笔记本中导入 scala 库。您需要更改为使用 Scala 笔记本，或使用 Pyspark 等价物。

喜欢：

from pyspark.sql.types import *