使用 Scala 清理 RDD 中的开括号和闭括号

Posted 2023-04-17

【中文标题】使用 Scala 清理 RDD 中的开括号和闭括号

【英文标题】：Clean up open and closed brackets in RDD using Scala

【发布时间】：2017-03-30 09:46:38

【问题描述】：

在使用 spark 和 scala 对文件进行一些转换后，我得到了如下结果

(451,M,(BC-B,(21104246,321.50)))
(454,M,(OC,(21104751,361.00)))
(147,M,(OC,(20404588,340.00)))
(155,M,(BC-B,(20405733,347.00)))

但我需要删除括号并期望输出如下，因为我需要将 rdd 转换为数据帧

454,M,OC,21104751,361.00  
451,M,BC-B,21104246,321.50
147,M,OC,20404588,340.00
155,M,BC-B,20405733,347.00

任何帮助都是可观的！！！

【参考方案1】：

你可以直接匹配出来：

rdd.mapcase (a,b,(c,(d,e))) => (a,b,c,d,e).toDF()

【讨论】：

感谢您的回复，我已经使用替换所有功能，它工作正常....我也会试试你的并检查