在火花中读取 json [重复]

Posted 2023-04-15

【中文标题】在火花中读取 json [重复]

【英文标题】：reading a json in spark [duplicate]

【发布时间】：2016-06-17 04:41:54

【问题描述】：

我在 cassandra 中有一个表，其中有一列类型为“文本”。 它保存的值是json类型的数据。

因此，在每条记录中，该列的值都类似于。

"a":"1", "b":"5", "c":"3", "d":"12"

类似地，在下一条记录中，它将具有类似

的值

"a":"12", "b":"52", "c":"13", "d":"3",

所以我能说的是这个列在每条记录中都有一个 json 值。

我的要求是使用 spark/sparksql 检索每条记录的“b”和“d”的值。

【参考方案1】：

阅读 Cassandra 表后，您可以在文本列上执行用户定义函数 (UDF)，在该 udf 中，您可以将字符串转换为 JSON 对象并返回您需要的字段。