使用 Java 的 Spark 和 Spark SQL 新手

Posted 2023-04-18

【中文标题】使用 Java 的 Spark 和 Spark SQL 新手

【英文标题】：New to Spark and Spark SQL with Java

【发布时间】：2017-08-10 22:41:43

【问题描述】：

我是 Spark 和 Spark SQL 的新手，但了解 Java 和 SQL。

如何专门使用 Spark SQL 将一组 Oracle 存储过程转换为使用 Spark SQL 的 Spark。请举例。

【参考方案1】：

以下代码是 Spark SQL 示例；你能问我吗

import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Row;
import org.apache.spark.sql.SparkSession;

public class SparkSQL 

    public static void main(String[] args) 
        SparkSession sparkSession = SparkSession.builder().master("local").getOrCreate();
        Dataset<Row> peopleDS = sparkSession.read().json("C:\\people.json");
        peopleDS.createOrReplaceTempView("people");

        Dataset<Row> sql = sparkSession.sql("select city,avg(age) from people group by city");

        sql.show();