读取 pyspark 数据框中的 jsonb 类型字段？ [复制]

Posted 2023-04-15

【中文标题】读取 pyspark 数据框中的 jsonb 类型字段？ [复制]

【英文标题】：Read a jsonb type field in pyspark dataframe? [duplicate]

【发布时间】：2020-10-21 17:58:51

【问题描述】：

我有一个从 Postres db 读取的表，其中一个字段是包含嵌套数组的 jsonb 类型字段。数组可以在 Postgres 中的表中的行级别更改，这意味着键/值对的数量可以更改。推断架构会将字段设置为字符串类型。 Pyspark 是否支持 jsonb 类型字段并推断字段类型的架构？

【参考方案1】：

在这里找到我的答案：Pyspark: Parse a column of json strings

它获取了 jsonb 字段，解析了字段名称，并重组了 df 以适应嵌套数组。