在Scala中为列表中的每一行获取元组的第一项

Posted 2023-03-23

【中文标题】在Scala中为列表中的每一行获取元组的第一项

【英文标题】：Getting the first item for a tuple for each row in a list in Scala

【发布时间】：2021-12-03 16:56:10

【问题描述】：

我希望在 Scala 中执行此操作，但没有任何效果。在 pyspark 中它显然有效。

from operator import itemgetter
rdd = sc.parallelize([(0, [(0,'a'), (1,'b'), (2,'c')]), (1, [(3,'x'), (5,'y'), (6,'z')])])
mapped = rdd.mapValues(lambda v: map(itemgetter(0), v))

输出

mapped.collect()
[(0, [0, 1, 2]), (1, [3, 5, 6])]

【参考方案1】：

val rdd = sparkContext.parallelize(List(
  (0, Array((0, "a"), (1, "b"), (2, "c"))),
  (1, Array((3, "x"), (5, "y"), (6, "z")))
))

rdd
  .mapValues(v => v.map(_._1))
  .foreach(v=>println(v._1+"; "+v._2.toSeq.mkString(",") ))

输出：

0; 0,1,2
1; 3,5,6

【讨论】：

对，我错过了 1 个方面。