spark on yarn falling back to uploading libraries under SPARK_HOME.
Posted 一位不愿透露姓名的肥宅
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了spark on yarn falling back to uploading libraries under SPARK_HOME.相关的知识，希望对你有一定的参考价值。
问题
在以yarn作为master启动sparkshell出现警告
原因
spark-shell底层是调用的spark-submit，每次运行时都会把yarn所需的spark jar打包上传至HDFS，然后分发到每个NM。
解决
如果我们将jar包提前上传至HDFS，那么spark在运行时就不用上传，可以直接从HDFS读取了。
创建hdfs目录
hadoop fs -mkdir -p /spark-yarn/jars将jar包上传至hdfs目录
hadoop fs -put /soft/spark/jars/* /spark-yarn/jars/在spark-default.conf文件中添加
spark.yarn.jars=hdfs://iZm5efuuoqohgx35d3zs4eZ:9000/spark-yarn/jars/*.jar重新运行 spark-shell --master yarn-client
警告消失
以上是关于spark on yarn falling back to uploading libraries under SPARK_HOME.的主要内容，如果未能解决你的问题，请参考以下文章