cdh 上安装spark on yarn
Posted ptbx
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了cdh 上安装spark on yarn相关的知识，希望对你有一定的参考价值。
在cdh 上安装spark on yarn 还是比较简单的，不需要独立安装什么模块或者组件。
安装服务 选择on yarn 模式：上面 Spark
在spark 服务中添加
在yarn 服务中添加 getWay
后重新 启动服务端
用hdfs 用户进入 spark bin 目录
cd /opt/cloudera/parcels/CDH/lib/spark/bin
执行
./spark-submit --class org.apache.spark.examples.SparkPi --master yarn-cluster /opt/cloudera/parcels/CDH-5.7.0-1.cdh5.7.0.p0.45/lib/spark/lib/spark-examples.jar 10
执行后查看状态：
查看Executors
以上是关于cdh 上安装spark on yarn的主要内容，如果未能解决你的问题，请参考以下文章