在Eclipse中跑一个Spark的算Pi例子。报错如下:

Posted 2023-04-24

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了在Eclipse中跑一个Spark的算Pi例子。报错如下:相关的知识，希望对你有一定的参考价值。

ERROR SparkContext: Error initializing SparkContext.
org.apache.spark.SparkException: A master URL must be set in your configuration
at org.apache.spark.SparkContext.<init>(SparkContext.scala:394)
at org.apache.spark.api.java.JavaSparkContext.<init>(JavaSparkContext.scala:61)
at org.apache.spark.examples.JavaSparkPi.main(JavaSparkPi.java:37)
15/10/28 22:01:15 INFO SparkContext: Successfully stopped SparkContext
Exception in thread "main" org.apache.spark.SparkException: A master URL must be set in your configuration
at org.apache.spark.SparkContext.<init>(SparkContext.scala:394)
at org.apache.spark.api.java.JavaSparkContext.<init>(JavaSparkContext.scala:61)
at org.apache.spark.examples.JavaSparkPi.main(JavaSparkPi.java:37)

我注意到了A master URL must be set in your configuration。于是我加上了setMaster：
SparkConf sparkConf = new SparkConf().setAppName("JavaSparkPi").setMaster("spark://master:7077")：
加了setMaster（"spark://master:7077"）以后报错还是这，没有变。所以我想问这是什么情况？为什么会出现Error initializing SparkContext？多谢指教！

参考技术A 你的spark集群的主机的hosts列表中有master对应的ip吗，看看/etc/hosts中有没有一行，如果spark的主机也就是master是本地机器，就用.setMaster("spark://localhost:7077")：
好了；
建议还是用Idea来编spark程序追问

你说的很对。不过我早已经解决了。分给你吧~

本回答被提问者和网友采纳

Spark1.6 Idea下远程调试

使用的开发工具：scala2.10.4、Idea16、JDK8

1.导入依赖的包和源码

在下载Spark中到的导入spark的相关依赖了包和其源码.zip,相关源码的下载地址：https://github.com/apache/spark/tree/v1.6.0

地址最后面是对应的版本号，下载源码便于看注释

技术分享

2.使用官方求Pi的例子

[java] view plain copy

import org.apache.spark.{SparkConf, SparkContext}
object FirstDemo {
def main(args: Array[String]) {
val conf = new SparkConf().setAppName("Spark Pi")
val spark = new SparkContext(conf)
val slices = if (args.length > 0) args(0).toInt else 2
val n = 100000 * slices
val count = spark.parallelize(1 to n, slices).map { i =>
val x = Math.random * 2 - 1
val y = Math.random * 2 - 1
if (x * x + y * y < 1) 1 else 0
}.reduce(_ + _)
println("*****Pi is roughly " + 4.0 * count / n)
spark.stop()
}
}

3.导出项目jar包

确认之后->build->build artifacts->rebuild

技术分享

4.启动集群

先修改配置文件，再启动集群可能会导致master无法正常启动，下次想取消远程调试，可以把配置文件再改回来

[plain] view plain copy

[[email protected] sbin]# jps
30212 SecondaryNameNode
32437 -- main class information unavailable
30028 NameNode

所以请先启动集群

[plain] view plain copy

[[email protected] sbin]# ./start-all.sh
starting org.apache.spark.deploy.master.Master, logging to /hadoop/spark-1.6.0-bin-hadoop2.6/logs/spark-root-org.apache.spark.deploy.master.Master-1-master.out
slave01: starting org.apache.spark.deploy.worker.Worker, logging to /hadoop/spark-1.6.0-bin-hadoop2.6/logs/spark-root-org.apache.spark.deploy.worker.Worker-1-slave01.out