Spark-submit on Yarn 错误 YarnConfiguration.useHttps NoSuchMethodError
Posted
技术标签:
【中文标题】Spark-submit on Yarn 错误 YarnConfiguration.useHttps NoSuchMethodError【英文标题】：Spark-submit on Yarn errors YarnConfiguration.useHttps NoSuchMethodError 【发布时间】：2016-07-05 18:25:43 【问题描述】：我正在对 yarn 进行 spark-submit，但出现以下错误。任何线索我做错了什么？
16/07/05 14:21:49 INFO spark.SparkContext: 成功停止 SparkContext 16/07/05 14:21:49 INFO yarn.ApplicationMaster：取消注册 ApplicationMaster 失败（诊断消息：用户类抛出异常：java.lang.NoSuchMethodError：org.apache.hadoop.yarn.conf.YarnConfiguration.useHttps（Lorg/ apache/hadoop/conf/配置；）Z） 16/07/05 14:21:49 信息 remote.RemoteActorRefProvider$RemotingTerminator：关闭远程守护程序。 16/07/05 14:21:49 INFO remote.RemoteActorRefProvider$RemotingTerminator：远程守护进程关闭；继续冲洗远程传输。 16/07/05 14:21:49 INFO impl.AMRMClientImpl：等待应用程序成功注销。 16/07/05 14:21:49 INFO remote.RemoteActorRefProvider$RemotingTerminator：远程关闭。
【问题讨论】：
【参考方案1】：经过一番努力，我发现问题是我正在构建包含所有依赖项的 uber jar，其中也包括 spark。当我构建没有依赖项的包并且在 spark 提交期间将依赖 jars 添加为 --jars 时，问题已解决。似乎大多数时候 NoSuchMethodError 或 ClassNotFoundException 等问题都可以通过这种方法解决。
【讨论】：
以上是关于Spark-submit on Yarn 错误 YarnConfiguration.useHttps NoSuchMethodError的主要内容，如果未能解决你的问题，请参考以下文章
spark-submit / spark-shell > yarn-client 和 yarn-cluster 模式的区别