无法序列化 PySpark UDF

Posted 2023-04-13

【中文标题】无法序列化 PySpark UDF

【英文标题】：Unable to serialize PySpark UDF

【发布时间】：2020-06-18 12:15:16

【问题描述】：

我正在尝试在 PySpark 中创建 UDF。该函数接受一个输入字符串，它是一个 xml。然后它使用 lxml 对其进行解析并返回具有属性的字典列表。我创建了函数parse_xml，但是当我尝试spark.udf.register("parse_xml", parse_xml) 行时，会出现错误：PicklingError: Could not serialize object: TypeError: can't pickle lxml.etree.XMLParser objects。

似乎 lxml 对象不可序列化，但输入是字符串，输出是列表/字典——有没有办法创建这样的 UDF？

【参考方案1】：

pyspark 使用的库是cpickle，它代表云泡菜，它还不支持用 C 编写的序列化库。

如果您想解析 xml，请改用 databricks XML 解析器，它也会很快。