从 apache Spark 运行 java 程序时出现 ClassNotFound 异常

Posted

技术标签:

【中文标题】从 apache Spark 运行 java 程序时出现 ClassNotFound 异常【英文标题】:ClassNotFound Exception While running java program from apache Spark 【发布时间】:2015-08-04 06:35:10 【问题描述】:

我已编译 Java 程序并尝试使用 spark 运行,但即使存在类文件,它仍显示 ClassNotFound 异常。

    package org.apache.spark.examples;

    import org.apache.spark.SparkConf;
    import org.apache.spark.api.java.JavaRDD;
    import org.apache.spark.api.java.JavaSparkContext;
    import org.apache.spark.api.java.function;  

    public final class JavaHelloWorld
    
         public static void main(String args[])throws Exception
         

         SparkConf sparkConf = new SparkConf().setAppName("JavaSparkPi");
         JavaSparkContext jsc = new JavaSparkContext(sparkConf);
         System.out.println("Hello World... Niyat From Apache Spark");
         
       

【问题讨论】:

如果您将代码和堆栈跟踪以文本而不是图像的形式发布会更好。 【参考方案1】:

你必须写出类的确切名称,你有最初的j小写:

JavaHelloWorld

【讨论】:

类在 spark-examples-1.1.10-hadoop1.0.4.jar 里面吗?因为它没有被发现。 是的。它在 spark-examples-1.1.10 里面

以上是关于从 apache Spark 运行 java 程序时出现 ClassNotFound 异常的主要内容,如果未能解决你的问题,请参考以下文章

从 Apache Spark 连接到 Hive [重复]

Apache Spark MLLib - 使用 IDF-TF 向量运行 KMeans - Java 堆空间

java.lang.NoClassDefFoundError: org/apache/spark/streaming/twitter/TwitterUtils$ 同时运行 TwitterPopular

是否可以在已经运行的 java 进程中生成 Spark 执行程序(Ignite JVM)

使用java开发spark的wordcount程序

如何在现有的 Web 应用程序中使用 apache spark