Spark02 yarn运行
Posted 山高月更阔 Andy
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Spark02 yarn运行相关的知识，希望对你有一定的参考价值。
需要启动 hadoop
# 进入hadoop安装目录
cd $HADOOP_HOME
#执行命令
./sbin/start-all.sh
可以查看start-all.sh 脚本 启动hadoop yarn 和 hdfs
提交yarn
spark-submit master yarn xxx.jar
如果出现 hdfs没有写入权限 可以设置hadoop 离开安全模式
离开安全模式
bin/hadoop dfsadmin -safemode leave
以上是关于Spark02 yarn运行的主要内容，如果未能解决你的问题，请参考以下文章
Spark Standalone、YARN 和本地模式有啥区别？
自动设置 Dataproc 集群后 Yarn/Spark 的内存分配不正确
可以在没有运行任何 Map/Reduce (/Yarn) 的情况下对 Hive 表执行 Spark SQL 吗？