spark-submit - 无法解析主网址
Posted
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了spark-submit - 无法解析主网址相关的知识,希望对你有一定的参考价值。
我在Windows 10机器上使用spark-submit执行spark job时遇到错误。命令是:
c:workspacesSpark2Demo>spark-submit --class retail_db.GetRevenuePerOrder --master local . argetscala-2.12spark2demo_2.12-0.1.jar c:workspacesdata
etail_dborderspart-00000 c:workspacesoutput
我得到的错误是:
2019-03-12 19:09:33 ERROR SparkContext:91 - Error initializing SparkContext.
org.apache.spark.SparkException: Could not parse Master URL: 'c:workspacesdata
etail_dborderspart-00000'
at org.apache.spark.SparkContext$.org$apache$spark$SparkContext$$createTaskScheduler(SparkContext.scala:2784)
at org.apache.spark.SparkContext.<init>(SparkContext.scala:493)
at retail_db.GetRevenuePerOrder$.main(GetRevenuePerOrder.scala:7)
at retail_db.GetRevenuePerOrder.main(GetRevenuePerOrder.scala)
该文件存在且可访问。我能够在IDE中运行该程序。以下是原则:
package retail_db
import org.apache.spark.{SparkConf,SparkContext}
object GetRevenuePerOrder {
def main(args:Array[String]):Unit = {
val conf = new SparkConf().setMaster(args(0)).setAppName("GetRevenuePerOrder")
val sc = new SparkContext(conf)
sc.setLogLevel("DEBUG")
println(args)
val orderItems = sc.textFile(args(1))
val revenuePerOrder = orderItems.map(oi => (oi.split(",")(1).toInt, oi.split(",")(4).toFloat)).reduceByKey(_ + _).map(oi => (oi._1 + "," + oi._2))
revenuePerOrder.saveAsTextFile(args(2))
}
}
请帮忙。
答案
你是两次设置师父。第一次在spark-submit命令(--master local)中,您将其设置为本地,第二次在SparkConf中设置(新的SparkConf()。setMaster(args(0)))。正如spark configuration page中所提到的,“直接在SparkConf上设置的属性取最高优先级,然后标志传递给spark-submit或spark-shell,然后是spark-defaults.conf文件中的选项”,由spark-submit设置的本地主服务器,被SparkConf参数覆盖。请删除第二部分。
以上是关于spark-submit - 无法解析主网址的主要内容,如果未能解决你的问题,请参考以下文章
找不到模块:无法解析'C: Users test counter-app src'中的'bootstrap / dist / css / bootstrap.cs(代码片