agg 后从数据帧中获取结果值

Posted 2023-04-15

【中文标题】agg 后从数据帧中获取结果值

【英文标题】：Getting result value from dataframe after agg

【发布时间】：2018-10-31 21:28:31

【问题描述】：

我正在使用以下代码对来自文本文件的值进行简单的求和运算。我想从数据框中获取 java 代码的结果。

我该怎么做？

 SparkSession sc = jobContext.sparkSession();

    Dataset<Row> df = sc.read().format("csv")
    .option("header", "false") //Since text file doesnt contain any header
    .load("s3://test/input.txt") //configuring s3 bucket with txt file having numbers on each line
    .toDF("val"); //assigning column name values

    return "Sum is : " + df.select(sum("val"));

给我Sum is : [Sum(val): double] 我如何从数据框获取结果？

【参考方案1】：

收集第一行并获取它的字段

 return "Sum is : " + df.select(sum("val").alias("sum")).first().getAs(0);

【讨论】：

表示项目不存在 :(