将 DataFrame 转换为 DynamicFrame 时出现问题

Posted 2023-04-15

【中文标题】将 DataFrame 转换为 DynamicFrame 时出现问题

【英文标题】：Problem when converting DataFrame to DynamicFrame

【发布时间】：2021-11-25 11:47:16

【问题描述】：

我有一个将 DataFrame 转换为 DynamicFrame 的代码，在尝试执行 return 语句时出现这个奇怪的错误，有什么线索吗？

错误： AttributeError'str' object has no attribute '_jvm'

# record is DynamicFrame
def extractCustomFields(record, ctx):
    rec = record.toDF()
    rec = rec.withColumn("lastname", rec["customfields"][0].value)
    rec.show()
return DynamicFrame.fromDF(rec, ctx, "recordTransform")

【问题讨论】：

fromDF(dataframe, glue_ctx, name) 将GlueContext 作为第二个参数，而您正在传递str。您的GlueContext 是否已正确初始化？请看：fromDf

【参考方案1】：

fromDF() 期望 GlueContext 作为第二个参数。你需要通过它：

return DynamicFrame.fromDF(rec, ctx, "recordTransform")

【讨论】：

是的，我传递的是 transformationContext 而不是 GlueContext