Spark 将 JSON 字符串转换为 JSON 对象(Java)

Posted

技术标签:

【中文标题】Spark 将 JSON 字符串转换为 JSON 对象(Java)【英文标题】:Spark convert JSON string to JSON object (Java) 【发布时间】:2018-04-30 16:56:33 【问题描述】:

我一直在查看从 Kafka 接收到的 JSON 字符串到 JSON 对象的转换示例。我只找到了对我没有太大帮助的 Scala 示例。

然而在 Scala 中它看起来像这样:

val schema = new StructType().add("b", IntegerType)
events.select(from_json('a, schema) as 'c)

在 Java 中可以做到这一点吗?

【问题讨论】:

【参考方案1】:

是的,在 Java 中可以做到这一点。但语法略有不同。像这样-

StructType schema = new StructType().add("b", DataTypes.IntegerType);
events.select(from_json(col("a"), schema).as("c"));

希望对你有帮助!

【讨论】:

以上是关于Spark 将 JSON 字符串转换为 JSON 对象(Java)的主要内容,如果未能解决你的问题,请参考以下文章

Spark:如何从 Spark 数据帧行解析和转换 json 字符串

展平任何嵌套的 json 字符串并使用 spark scala 转换为数据帧

使用 pyspark 将 spark 数据帧转换为嵌套 JSON

Spark:将 JSON 文件转换为正确的格式

在scala中将spark决策树模型调试字符串转换为嵌套JSON

Spark 数据框将嵌套的 JSON 转换为单独的列