在 java spark 中从 REST API 读取 csv

Posted

技术标签:

【中文标题】在 java spark 中从 REST API 读取 csv【英文标题】:Read csv from REST API in java spark 【发布时间】:2021-02-26 12:25:05 【问题描述】:

我们如何从 REST API 读取 csv 并在 java spark 中处理它,

基本上我正在寻找以下scala代码的java等效代码

process-csv-from-rest-api-into-spark

import scala.io.Source._
import org.apache.spark.sql.Dataset, SparkSession

var res = fromURL(url).mkString.stripMargin.lines.toList
val csvData: Dataset[String] = spark.sparkContext.parallelize(res).toDS()

val frame = spark.read.option("header", true).option("inferSchema",true).csv(csvData)
frame.printSchema()

【问题讨论】:

【参考方案1】:

我们可以使用下面链接中提到的方法来读取数据并将每一行添加到列表中。

这个列表可以传递给parallelise()

Java read CSV file from the web

【讨论】:

以上是关于在 java spark 中从 REST API 读取 csv的主要内容,如果未能解决你的问题,请参考以下文章

在spring boot应用程序中从自己的rest api调用另一个rest api

如何在 AWS 中从 Java 生成签名

在颤振中从 PHP REST API 获取数据给出异常

如何在 Apache Spark ML API 中从“DataFrame”创建一个“Vector”?

在事务中从 WCF 服务向 REST API 发出 Post 请求

在同一个 kubernetes 集群中从一个 pod 调用一个 rest api 到另一个 pod