spark学习--ubuntu14.04集群搭建配置(jdk)

Posted 小航哥

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了spark学习--ubuntu14.04集群搭建配置(jdk)相关的知识,希望对你有一定的参考价值。

 

环境:ubuntu14.04

jdk-8u161-linux-x64.tar.gz

1、文本模式桌面模式切换

ctrl+alt+F6 切换到文本模式

ctrl + alt +F7 /输入命令startx切换到桌面模式

2、更改Ip地址、主机名

  • /etc/hostname - 改主机名称
  • /etc/hosts  -host文件
  • /etc/network/interfaces - 改IP地址
  • 我们需要添加自己的网络设置,在该文件中添加(需要根据各自网络情况进行修改):

    auto eth0
    iface eth0 inet static
    address 192.168.7.124
    netmask 255.255.255.0
    gateway 192.168.7.1
    broadcast 192.168.7.255

  • 重启网络sudo /etc/init.d/networking restart

3、配置xshell连接ubuntu14.0.(ssh)

sudo apt-get update

更新完毕后执行:

sudo apt-get install openssh-server


问题:

sudo apt-get update遇到很多无法下载

解决:

 更改软件源(图形界面)

图形界面:打开Ubuntu软件中心,点击顶部面板的“编辑”然后就可看到“软件源”选项了

点击之后填出软件源编辑窗口,如图按钮,选择“其他站点”

可以选择最佳服务器,也可以直接在左边选择一个你觉得快的源,我比较喜欢163.com

问题:

正在解析主机 mirrors.163.com... 失败:未知的名称或服务。
wget: 无法解析主机地址 “mirrors.163.com”

解决方法:

    1. 登入root

    2. 进入/etc/resolv.conf

      
      

      vim /etc/resolv.conf

    3. 修改内容为下(将DNS地址改为google域名服务器)
      nameserver 8.8.8.8
      nameserver 8.8.4.4

问题:

解决方法:

用Xshell root连接时显示ssh服务器拒绝了密码,应该是应该是sshd的设置不允许root用户用密码远程登录
修改 /etc/ssh/sshd_config文件,注意,安装了openssh才会有这个文件,如果文件不存在请检查是否安装了openssh。

vim /etc/ssh/sshd_config

找到

# Authentication:
LoginGraceTime 120
PermitRootLogin prohibit-password
StrictModes yes

改成
# Authentication:
LoginGraceTime 120
PermitRootLogin yes
StrictModes yes

然后输入命令

/etc/init.d/ssh restart 

一般情况下到这里就可以用xshll远程连接ubuntu14.04了

以下是拓展内容:

确认sshserver是否启动了:
ps -e |grep ssh

这样就表明已经成功安装了ssh-server服务,并已经成功启动。


如果只有ssh-agent那ssh-server还没有启动,需要/etc/init.d/ssh start,如果看到sshd,那说明ssh-server已经启动了。

4、jdk

(1)安装jdk

 tar -xzvf jdk-7u45-linux-x64.tar.gz 

在根目录下建立soft文件夹
sudo mkdir /soft

将soft文件夹改为ailab用户下
sudo chown ailab /soft

把tar开的文件夹移动到/soft
mv ~/Downloads/jdk1.7.0_45  /soft/

(2)配置环境变量

#> vim /etc/environment 

JAVA_HOME=/soft/jdk1.7.0_45
PATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/soft/jdk1.7.0_45/bin

#> source /etc/environment

 

5、克隆虚拟机,修改Ip地址,主机名

 

 



以上是关于spark学习--ubuntu14.04集群搭建配置(jdk)的主要内容,如果未能解决你的问题,请参考以下文章

ubuntu14.04下搭建GraphLab集群

云计算Ubuntu14.04 搭建GlusterFS集群

Caffe搭建:Ubuntu14.04 + CUDA7.5 + opencv3.1+python3.5

ubuntu14.04环境下利用docker搭建solrCloud集群

ubuntu14.04搭建Hadoop集群(分布式)环境

Ubuntu下搭建单机Hadoop和Spark集群环境