Spark HA模式访问Hadoop HA下的数据
Posted 一心行走
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Spark HA模式访问Hadoop HA下的数据相关的知识，希望对你有一定的参考价值。
首先是需要将hadoop的配置文件core-site,xml和hdfs-site.xml 拷贝到Spark conf目录下
然后启动提交即可
spark-submit --master spark://hadoop-namenode-01:7077,hadoop-namenode-02:7077 \ --class org.apache.spark.examples.SparkPi --deploy-mode cluster --executor-memory 4G --total-executor-cores 10 hdfs://bi/spark-examples-1.6.0-hadoop2.6.4.jar \ 100
以上是关于Spark HA模式访问Hadoop HA下的数据的主要内容，如果未能解决你的问题，请参考以下文章