如何使用 pyspark 在数据块中循环数据框列

Posted 2023-04-13

【中文标题】如何使用 pyspark 在数据块中循环数据框列

【英文标题】：How to loop dataframe column in databricks using pyspark

【发布时间】：2020-07-15 17:21:05

【问题描述】：

我想使用在 databricks 中运行的 pyspark 对数据框列应用词形还原。请参阅图像以了解错误。

【参考方案1】：

在函数旁边导入函数 lemmatize_sentence()，然后创建应该可以工作的 UDF。 您收到此错误是因为导入是在驱动程序节点上而不是在整个集群上。 当您在函数中导入它时，在这种情况下，在创建 UDF 时，它会将函数的副本发送到集群中的所有节点。