在执行spar-sql程序中报错：java.lang.NoSuchMethodError: org.apache.spark.internal.Logging.$init$(Lorg/apache/s

Posted 2021-06-06 youngxuebo

在运行spar-sql程序中报错：java.lang.NoSuchMethodError: org.apache.spark.internal.Logging.$init$(Lorg/apache/spark/internal/Logging;)V

用IDEA本地运行spark-sql的时候，一直报这个错误。

原因是spark-sql底层是RDD操作，而RDD是spark-core，所以在maven导入pom文件spark-core和spark-sql 的 artifactId 版本不一致。

解决方式是：

    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-core_2.11</artifactId>
        <version>2.4.3</version>
    </dependency>

    <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-sql -->
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-sql_2.11</artifactId>
        <version>2.4.3</version>
    </dependency>