搭建Hadoop集群Tips

Posted 2020-07-21 啦啦小明

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了搭建Hadoop集群Tips相关的知识，希望对你有一定的参考价值。

1 安装版本

搭建Hadoop2.4.0版本，基于Ubuntu12.04 x86_64、jdk1.7.0_79

完全分布式集群搭建思路基本是各主机建立SSH无密码通信，安装JDK，安装Hadoop，测试Hadoop等过程。

首先在基于Linux的系统里用户权限是比较容易出错的地方，具体设置可以参考aboutyun论坛相关文献。

本文所有操作均在root用户下完成，实际环境建议在其他用户权限下配置。

SSH无密码登录的原理是将公钥共享，互持公钥的主机之间就可以通过ssh协议无密码登录。

在生成公钥之前需要配置/etc/hostname文件以及/etc/hosts文件

这里搭建的集群为：

分别表示IP地址、用户/密码、主机名称

通过配置/etc/hostname文件修改主机名称

root@master:/# vi /etc/hostname

通过配置/etc/hosts文件添加IP地址到主机名称的映射

root@master:/# vi /etc/hosts

在各个slave节点完成以上两个文件的修改

设置SSh具体步骤如下：

第一步：产生密钥

root@master:/# ssh-keygen -t rsa

一直按Enter键直到结束

第二步：进入SSH目录，写入公钥

root@master:/# cd ~/.ssh/
root@master:~/.ssh# cat id_rsa.pub >>authorized_keys

此时可以无密码登录localhost

root@master:~/.ssh# ssh localhost

第三步：设置远程无密码登录

通过scp命令将公钥发送到slave1

root@master:~/.ssh# cat id_rsa.pub >> master_key 
root@master:~/.ssh# scp master_key root@slave1:/root/.ssh/

写入authorized_keys

root@master:~/.ssh# cat master_key >> authorized_keys

【注意】：每两台机器完成公钥的写入操作

在Ubuntu中安装已编译的软件，一般步骤是解压安装包，修改配置文件，设置PATH环境变量

解压JDK

root@master:/usr/local# tar -zxvf jdk-7u79-linux-x64.tar.gz

设置PATH

root@master:/usr/local# vi /etc/profile

在文件底部添加

export JAVA_HOME=/usr/local/java/jdk1.7.0_79
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$PATH:$JAVA_HOME/bin

通过source命令检查语法

root@master:/usr/local# source /etc/profile

如果需要在控制台编译源文件，需要修改CLASSPATH变量，这里不做介绍了

以上是关于搭建Hadoop集群Tips的主要内容，如果未能解决你的问题，请参考以下文章