如何使用 Java API 将文本文件、图像存储到 Apache Spark 中？

Posted 2023-04-17

【中文标题】如何使用 Java API 将文本文件、图像存储到 Apache Spark 中？

【英文标题】：How to store text files, images into Apache Spark using Java API?

【发布时间】：2017-02-06 18:35:11

【问题描述】：

我是 Apache Spark 的新手。我正在使用 Windows 操作系统，并且 spark 安装在远程的 Linux 操作系统中。是否可以使用 Java API 在 Spark 配置中添加 IP 地址和端口？请分享 spark java 示例。

提前致谢。

【参考方案1】：

如果您只是想玩转 spark，我建议您从您的应用程序中启动一个本地 spark。这是一个 java 示例（旧的 1.6 语法）：

public static void trySparkTestClass() throws IOException 
    SparkConf conf = new SparkConf()
            .setMaster("local[*]")
            .setAppName("TestSparkSample");

    JavaSparkContext jsc = new JavaSparkContext(conf);
    HiveContext sqlContext = new HiveContext(jsc);
    DataFrame myJson = sqlContext.read().json("myJson");
    jsc.stop();

【讨论】：

程序中的jsc是什么？

这是一个 JavaSparkContext 实例