如何使用pyspark将两列值组合到另一列？

Posted 2023-04-15

【中文标题】如何使用pyspark将两列值组合到另一列？

【英文标题】：How to combine two columns values to another column using pyspark?

【发布时间】：2021-12-08 12:14:29

【问题描述】：

这是我用来将值从 csv 映射到 aws 胶水中的 sql 表的代码。

mappings=[
        ("houseA", "string", "villa", "string"),
        ("houseB", "string", "small_house", "string"),
        ("houseA"+"houseB", "string", "combined_key", "string"),
    ],

我发现将 houseA 和 houseB 分别映射到“villa”和“small_house”列没有问题。但是当我尝试在“combined_key”列中包含 houseAhouseB 时，它给了我这个错误。

调用 o128.pyWriteDynamicFrame 时出错。不能 将值 NULL 插入列 'combined_key'，表 'dbo.建筑物';列不允许空值。插入失败。

我不太明白为什么它会返回一个空错误。

关于如何修改代码的任何想法？

提前致谢。

【问题讨论】：

1. 'dbo.Buildings' - 你可以显示结构表吗？谢谢。

【参考方案1】：

我实际上发现胶水工作室中有一个自定义转换，我们可以使用 pyspark 代码实现这一点