在 java spark 中从 REST API 读取 csv
Posted
技术标签:
【中文标题】在 java spark 中从 REST API 读取 csv【英文标题】:Read csv from REST API in java spark 【发布时间】:2021-02-26 12:25:05 【问题描述】:我们如何从 REST API 读取 csv 并在 java spark 中处理它,
基本上我正在寻找以下scala代码的java等效代码
process-csv-from-rest-api-into-spark
import scala.io.Source._
import org.apache.spark.sql.Dataset, SparkSession
var res = fromURL(url).mkString.stripMargin.lines.toList
val csvData: Dataset[String] = spark.sparkContext.parallelize(res).toDS()
val frame = spark.read.option("header", true).option("inferSchema",true).csv(csvData)
frame.printSchema()
【问题讨论】:
【参考方案1】:我们可以使用下面链接中提到的方法来读取数据并将每一行添加到列表中。
这个列表可以传递给parallelise()
Java read CSV file from the web
【讨论】:
以上是关于在 java spark 中从 REST API 读取 csv的主要内容,如果未能解决你的问题,请参考以下文章
在spring boot应用程序中从自己的rest api调用另一个rest api
如何在 Apache Spark ML API 中从“DataFrame”创建一个“Vector”?