如何在CDH5上运行Spark应用
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了如何在CDH5上运行Spark应用相关的知识，希望对你有一定的参考价值。
参考技术A 这篇文章参考 How-to: Run a Simple Apache Spark App in CDH 5 编写而成，没有完全参照原文翻译，而是重新进行了整理，例如：spark 版本改为 1.2.0-cdh5.3.0 ，添加了 Python 版的程序。 本文主要记录在 CDH5 集群环境上如何创建一个 Scala 的 ...cdh 上安装spark on yarn
在cdh 上安装spark on yarn 还是比较简单的，不需要独立安装什么模块或者组件。
安装服务 选择on yarn 模式：上面 Spark
在spark 服务中添加
在yarn 服务中添加 getWay
后重新 启动服务端
用hdfs 用户进入 spark bin 目录
cd /opt/cloudera/parcels/CDH/lib/spark/bin
执行
./spark-submit --class org.apache.spark.examples.SparkPi --master yarn-cluster /opt/cloudera/parcels/CDH-5.7.0-1.cdh5.7.0.p0.45/lib/spark/lib/spark-examples.jar 10
执行后查看状态：
查看Executors
以上是关于如何在CDH5上运行Spark应用的主要内容，如果未能解决你的问题，请参考以下文章