spark集群详细搭建过程及遇到的问题解决

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了spark集群详细搭建过程及遇到的问题解决相关的知识,希望对你有一定的参考价值。

注:其中也参考了网上的许多教程,但很多网上的教程在配置过程中,会出很多错误,在解决的过程中,做出了总结。

此文是针对小白。如有不对,请大神们指教。。。。

配置环境系统:Ubuntu16.04

配置版本分别为:hadooop 2.7.3、java "1.7.0_79"、Scala2.11.6、spark-2.0.1-bin-hadoop2.7

本实验主要配置三个节点的小集群:

配置节点分为一个master、两个worker

接下来开始一步一步进行配置

(一)基础配置

master节点

#首先更改主机名与并添加三个节点到/etc/hosts中

[email protected]:~$ sudo su
[sudo] password for kuku: 
[email protected]:/home/kuku# vim /etc/hostname

#删除/etc/hostname中的文件,并添加

master
[email protected]:/home/kuku# vim /etc/hostname

#添加以下内容 ,下列ip分别对应三个节点的ip,看自己ip 进行更改。

#master
192.168.1.41 master
#worker
192.168.1.42 worker1

192.168.1.55 worker2

worker1节点

#首先更改主机名与并添加三个节点到/etc/hosts中

[email protected]:~$ sudo su
[sudo] password for kuku: 
[email protected]:/home/kuku# vim /etc/hostname

#删除/etc/hostname中的文件,并添加

worker1
[email protected]:/home/kuku# vim /etc/hostname

#添加以下内容 ,下列ip分别对应三个节点的ip,看自己ip 进行更改

#master
192.168.1.41 master
#worker
192.168.1.42 worker1

192.168.1.55 worker2

worker2节点

#首先更改主机名与并添加三个节点到/etc/hosts中

[email protected]:~$ sudo su
[sudo] password for kuku: 
[email protected]:/home/kuku# vim /etc/hostname

#删除/etc/hostname中的文件,并添加

worker2
[email protected]:/home/kuku# vim /etc/hostname

#添加以下内容 ,下列ip分别对应三个节点的ip,看自己ip 进行更改

#master
192.168.1.41 master
#worker
192.168.1.42 worker1

192.168.1.55 worker2


#分别重启机器,使刚才配置生效

[email protected]:~$ sudo su
[sudo] password for kuku: 
[email protected]:/home/kuku#

#分别在三个节点上面创建hadoop组与spark用户

[email protected]:/home/kuku# groupadd hadoop
[email protected]:/home/kuku# useradd -s /bin/bash -d /home/spark -m spark -g hadoop -G root 
#创建spark用户,属于hadoop组
[email protected]:/home/kuku# passwd spark 
#为用户spark 创建密码
Enter new UNIX password: 
Retype new UNIX password: 
passwd: password updated successfully
[email protected]:/home/kuku# cd ..
[email protected]:/home# ll
total 16
drwxr-xr-x  4 root  root   4096 11月 15 15:14 ./
drwxr-xr-x 24 root  root   4096 11月 14 09:06 ../
drwxr-xr-x 19 kuku  kuku   4096 11月 14 15:01 kuku/
drwxr-xr-x  5 spark hadoop 4096 11月 16 13:14 spark/

#可以看到spark用户是属于hadoop组,在此一定要注意,本人在里面踩了不少坑,因为这将在后面涉及到权限所属问题


本文出自 “lefteva” 博客,请务必保留此出处http://lefteva.blog.51cto.com/11892835/1873453

以上是关于spark集群详细搭建过程及遇到的问题解决的主要内容,如果未能解决你的问题,请参考以下文章

spark集群详细搭建过程及遇到的问题解决

spark几种部署模式,每种模式特点及搭建

超详细的 Redis Cluster 官方集群搭建指南

工作中Hadoop,Spark,Phoenix,Impala 集群中遇到坑及解决方案

Spark+ECLIPSE+JAVA+MAVEN windows开发环境搭建及入门实例附详细代码

Hadoop——MapReduce相关eclipse配置及Api调用(图文超详细版)(内含遇到错误的解决方法)