hadoop集群搭建前的准备

Posted 2021-02-02

1. 修改主机名：

[[email protected] home]# sudo vi /etc/sysconfig/network
修改主机名：

2. 设置系统默认启动级别：

[[email protected] home]#vi /etc/inittab
改默认启动级别，3 是多用户模式，并且不启动图形界面

3. 配置 hadoop 用户 sudoer 权限：

这里使用普通用户hadoop，对Linux进行操作：
创建hadoop用户：
[[email protected] home]# useradd hadoop
[[email protected] home]# passwd hadoop
对hadoop用户权限设置：
[[email protected] home]# vi /etc/sudoers

加入：hadoop ALL=(ALL) ALL

4. 配置 IP：

[[email protected] home]# system-config-network #使用这个命令，之后傻瓜式配置

5. 关闭防火墙/关闭 Selinux

注意：这里是测试环境，所以直接关闭，如果是生产环境，请票配置防火墙策略
查看防火墙状态：service iptables status
关闭防火墙：service iptables stop
开启防火墙：service iptables start
重启防火墙：service iptables restart
关闭防火墙开机启动：chkconfig iptables off
开启防火墙开机启动：chkconfig iptables on
永久关闭selinux：
[[email protected] home]# vim /etc/selinux/config

6. 添加内网域名映射

这里是根据自己的集群，以及IP去设置主机名和ip地址的映射关系：
[[email protected] home]#vi /etc/hosts

7. 安装 JDK

由于hadoop是用java编写的，所以在搭建hadoop平台前，一定要保证有java的环境

• 上传 jdk-8u73-linux-x64.tar.gz
• tar -zxvf jdk-8u73-linux-x64.tar.gz -C /usr/local #解压到/usr/local 目录下
• 配置环境变量 vi /etc/profile：
  加入export JAVA_HOME=/usr/local/jdk1.8.0_73
  export PATH=$PATH:$JAVA_HOME/bin
• source /etc/profile
• 检测是否安装成功，输入命：java -version
  

  8. 同步服务器时间

  由于是hadoop分布式的，每台集群之间需要通信，所以时间的同步时非常重要的步骤：
  这里使用的是定时任务的方式，进行定期的同步时间：
  [[email protected] home]#crontab -e
  加入：
  /5 /usr/sbin/ntpdate cn.pool.ntp.org >/dev/null 2>&1 #每5分钟同步一次

  9. 配置免秘钥登录：

  在集群规划之后的所有的节点下都需要配置，相互之间进行免秘钥登录：
  这里一定要切换到hadoop用户下，因为免秘钥登录是针对用户的：
  [[email protected] home] ssh-keygen -t rsa
  [[email protected] home]ssh-copy-id hostname
  使用上面两个命令实现免秘钥登录，一定注意，配置完成之后，需要测试。登录到其他的主机看看是否需要密码：
  

---

这里提示一下：小编后续文章中的集群是3台测试机，主机名分别是：hadoop01、hadoop02、hadoop03，IP地址根据自己的网络配置，能ping通外网即可。

注意以上的9步完成之后，在看小编下面的文章，hadoop分布式和HA的集群搭建，不然会出现问题！！！