如何在 Apache-Spark 2.x 中使用 java 进行增量序列

Posted 2023-04-17

【中文标题】如何在 Apache-Spark 2.x 中使用 java 进行增量序列

【英文标题】：How todo an incremental sequence with java in Apache-Spark 2.x

【发布时间】：2017-08-08 11:55:40

【问题描述】：

如何在 Apache-Spark 2.x 中使用 java 执行 增量序列 DataFrame ||临时表 .

换句话说，ApacheSpark->Sql->java 中 monotonically_increasing_id() 函数的等价物是什么 || API->Java

【参考方案1】：

使用 Scala：

val dataFrame1 = dataFrame0.withColumn("index",monotonically_increasing_id())

使用 java

import org.apache.spark.sql.functions;
Daraset<Row> dataFrame1 = dataFrame0.withColumn("index",functions.monotonically_increasing_id());