分布式配置 Spark 2.0版本 2.1版本 1.6版本

Posted dhname

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了分布式配置 Spark 2.0版本 2.1版本 1.6版本相关的知识,希望对你有一定的参考价值。

apache的各个软件各个版本下载:  http://archive.apache.org/dist/  

1.下载spark.

  sudo tar -zxf ~/下载/spark-2.0.2-bin-without-hadoop.tgz -C /usr/local/

  cd /usr/local

  sudo mv ./spark-2.0.2-bin-without-hadoop/ ./spark

  sudo chown -R ubuntu ./spark

2.在Mster节点主机的终端中执行如下命令:

  vim ~/.bashrc

  在.bashrc添加如下配置:

    export SPARK_HOME=/usr/local/spark
    export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
  执行如下命令使得配置立即生效:

    source ~/.bashrc

3.在Master节点主机上进行如下操作:

  配置slaves文件
    将 slaves.template 拷贝到 slaves

    1. cd /usr/local/spark/
    2. cp ./conf/slaves.template ./conf/slaves

    slaves文件设置Worker节点。编辑slaves内容,把默认内容localhost替换成如下内容:

    slave01    

  配置spark-env.sh文件

    将 spark-env.sh.template 拷贝到 spark-env.sh

      cp ./conf/spark-env.sh.template ./conf/spark-env.sh

  编辑spark-env.sh,添加如下内容:

    export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath)     

    export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop     

    export SPARK_MASTER_IP=192.168.1.104

      SPARK_MASTER_IP 指定 Spark 集群 Master 节点的 IP 地址;

 

  配置好后,将Master主机上的/usr/local/spark文件夹复制到各个节点上。在Master主机上执行如下命令:

    1. cd /usr/local/
    2. tar -zcf ~/spark.master.tar.gz ./spark
    3. cd ~
    4. scp ./spark.master.tar.gz slave01:/home/hadoop
    5. scp ./spark.master.tar.gz slave02:/home/hadoop

  在slave01,slave02节点上分别执行下面同样的操作:

    1. sudo rm -rf /usr/local/spark/
    2. sudo tar -zxf ~/spark.master.tar.gz -C /usr/local
    3. sudo chown -R hadoop /usr/local/spark

 

4.启动hadoop集群,在master节点上运行。

  1. cd /usr/local/hadoop/
  2. sbin/start-all.sh

5.启动spark集群,在master节点上运行。

  cd /usr/local/spark/

  sbin/start-master.sh

  在Master节点上运行jps命令,可以看到多了个Master进程:

    15093 Jps

    14343 SecondaryNameNode

    14121 NameNode

    14891 Master 

    14509 ResourceManager

  启动所有Slave节点,在Master节点主机上运行如下命令:

     sbin/start-slaves.sh

  分别在slave01、slave02节点上运行jps命令,可以看到多了个Worker进程
    37553 DataNode
    37684 NodeManager
    37876 Worker
    37924 Jps

   http://172.19.57.221:8080/   spark web网页。

 

6.关闭spark集群

  关闭Master节点

    sbin/stop-master.sh

 

  关闭Worker节点

    sbin/stop-slaves.sh

 

关闭Hadoop集群

  1. cd /usr/local/hadoop/

 

  1. sbin/stop-all.sh

 

 

以上是关于分布式配置 Spark 2.0版本 2.1版本 1.6版本的主要内容,如果未能解决你的问题,请参考以下文章

Spark学习之路 Spark伪分布式安装

1Spark 2.1 源码编译支持CDH

ambari 2.2.1.1版本安装Spark 2.0报错

Spark 2.2.0 的兼容 Scala 版本?

在CDH上用外部Spark2.2.1安装和配置 CarbonData

CDH 中为spark 安装 python3