bbb

Posted 2021-03-06 linjiqin

172.16.0.11 node60
172.16.0.13 node89
172.16.0.8 node145

前期准备
1.修改Linux主机名

2.修改IP

3.修改主机名和IP的映射关系 /etc/hosts

######注意######如果你们公司是租用的服务器或是使用的云主机（如华为用主机、阿里云主机等）
/etc/hosts里面要配置的是内网IP地址和主机名的映射关系
4.关闭防火墙

5.ssh免登陆

6.安装JDK，配置环境变量等

1、集群规划
172.16.0.11 node60()
172.16.0.13 node89()
172.16.0.8 node145()

2、修改host文件
希望三个主机之间都能够使用主机名称的方式相互访问而不是IP，我们需要在hosts中配置其他主机的host。因此我们在主机的/etc/hosts下均进行如下配置：
$ vim /etc/hosts
172.16.0.11 node60
172.16.0.13 node89
172.16.0.8 node145

将配置发送到其他主机（同时在其他主机上配置）
$ ping node60
PING node60 (172.16.0.11) 56(84) bytes of data.
64 bytes from node60 (172.16.0.11): icmp_seq=1 ttl=64 time=0.313 ms
64 bytes from node60 (172.16.0.11): icmp_seq=2 ttl=64 time=0.275 ms

$ ping node89
PING node89 (172.16.0.13) 56(84) bytes of data.
64 bytes from instance-2nfzkw5m-1 (172.16.0.13): icmp_seq=1 ttl=64 time=0.038 ms
64 bytes from instance-2nfzkw5m-1 (172.16.0.13): icmp_seq=2 ttl=64 time=0.054 ms

$ ping node145
64 bytes from node145 (172.16.0.8): icmp_seq=1 ttl=64 time=0.288 ms
64 bytes from node145 (172.16.0.8): icmp_seq=2 ttl=64 time=0.278 ms

3、添加用户账号
在所有的主机下均建立一个账号admin用来运行hadoop ，并将其添加至sudoers中

#添加用户通过手动输入修改密码
$ useradd admin
#更改用户 admin 的密码
$ passwd admin

设置admin用户具有root权限 修改 /etc/sudoers 文件，找到下面一行，在root下面添加一行，如下所示：
$ visudo
## Allow root to run any commands anywhere
root ALL=(ALL) ALL
admin ALL=(ALL) ALL

修改完毕 :wq! 保存退出，现在可以用admin帐号登录，然后用命令 su - ，切换用户即可获得root权限进行操作。　

4、/opt目录下创建文件夹
4.1、在root用户下创建module、software文件夹
[root@89 ~]# cd /opt/
[root@89 opt]# mkdir module
[root@89 opt]# mkdir software

4.2、修改module、software文件夹的所有者
[root@89 opt]# chown admin:admin module
[root@89 opt]# chown admin:admin software

4.3、查看module、software文件夹的所有者
[root@89 opt]# ll
drwxr-xr-x 2 admin admin 4096 Mar 8 19:25 module
drwxr-xr-x 2 admin admin 4096 Mar 8 19:25 software

5、安装配置jdk1.8
本机root用户已安装配置jdk，admin用户不用重新安装，直接使用即可。

如果未安装可采用如下命令安装：
$ sudo yum install -y java-1.8.0-openjdk*
$ vim /etc/profile(root用户安装) 或 vim /home/admin/.bash_profile(admin用户安装)，内容如下：
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/jre/lib/rt.jar
export PATH=$PATH:$JAVA_HOME/bin

6、设置SSH免密钥
关于ssh免密码的设置，要求每两台主机之间设置免密码，自己的主机与自己的主机之间也要求设置免密码。 这项操作可以在admin用户下执行，执行完毕公钥在/home/admin/.ssh/id_rsa.pub。

在CentOS下会存在非root用户配置免密不能登陆的问题。

root用户按照正常操作配置SSH无密码登录服务器，一切顺利，但是到非root用户的时候，就会出现各种各样的问题，这里，就统一解决一下这些出现的问题，这里以admin用户作为例子说明。

主机node60，node89，node145都需要执行以下步骤，如果之前做过免密，后来改密码了，最好把原来的.ssh目录删掉：
$ rm -rf /home/admin/.ssh (三台都需要删掉，删掉以后在执行以下语句)
$ ssh-keygen -t rsa
$ cat /home/admin/.ssh/id_rsa.pub >> /home/admin/.ssh/authorized_keys
$ chmod 700 /home/admin/
$ chmod 700 /home/admin/.ssh
$ chmod 644 /home/admin/.ssh/authorized_keys
$ chmod 600 /home/admin/.ssh/id_rsa

如上命令在主机node60，node89，node145上执行成功，下面就来配置这三台主机的免密设置。
a、配置node60免密设置
把主机node89，node145对应的/home/admin/.ssh/id_rsa.pub内容拷贝到/home/admin/.ssh/authorized_keys(该文件在node60主机上)

b、配置node89免密设置
把主机node60，node145对应的/home/admin/.ssh/id_rsa.pub内容拷贝到/home/admin/.ssh/authorized_keys(该文件在node89主机上)

c、配置node145免密设置
把主机node60，node89对应的/home/admin/.ssh/id_rsa.pub内容拷贝到/home/admin/.ssh/authorized_keys(该文件在node145主机上)

d、验证免密是否设置成功
[admin@60 ~]$ ssh node89
Last login: Sun Mar 8 20:52:20 2020 from 172.16.0.11
[admin@89 ~]$ exit
logout
Connection to node89 closed.

[admin@60 ~]$ ssh node145
Last login: Sun Mar 8 20:52:26 2020 from 172.16.0.11
[admin@145 ~]$ exit
logout
Connection to node145 closed.

[admin@60 ~]$ ssh node60
Last login: Sun Mar 8 20:52:16 2020 from 172.16.0.11
[admin@60 ~]$ exit
logout
Connection to node60 closed.

到此，主机之间设置免密完成。

6、安装hadoop集群

ssh-keygen -t dsa
ssh-copy-id -i /home/admin/.ssh/id_rsa.pub admin@172.16.0.13

hadoop教程
https://www.cnblogs.com/frankdeng/p/9047698.html
https://www.cnblogs.com/Transkai/p/10563101.html

hadoop下载路径
http://archive.apache.org/dist/hadoop/core/
http://archive.apache.org/dist/hadoop/core/hadoop-2.7.6/