HDFS集群安装部署

Posted 2021-01-30 cmbk

1-> 集群的准备工作

 1）关闭防火墙(进行远程连接)  

systemctl stop firewalld  systemctl -disable firewalld

 2）永久修改设置主机名  vi /etc/hostname  

注意：需要重启生效->reboot    

3）配置映射文件  

vi /etc/hosts    

#127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4

 #::1         localhost localhost.localdomain localhost6 localhost6.localdomain6  192.168.50.183 hd09-01  192.168.50.184 hd09-02  192.168.50.185 hd09-03   2-> 安装jdk

 1）上传tar包  alt+p    2）解压tar包  tar -zxvf jdk    3）配置环境变量  vi /etc/profile    export JAVA_HOME=/root/hd/jdk1.8.0_141  export PATH=$PATH:$JAVA_HOME/bin    注意：加载环境变量 source /etc/profile    4）发送到其它机器  scp -r hd/jdk1.8.0_141/ hd09-03:hd/jdk1.8.0_141  scp -r /etc/profile hd09-02:/etc    注意：加载环境变量 source /etc/profile    5）配置ssh免密登录  -》ssh-keygen 生成密钥对  -》 ssh-copy-id 自己   ssh-copy-id 其它   ssh-copy-id 其它    3-> 安装HDFS集群

 1) 修改hadoop-env.sh  export JAVA_HOME=/root/apps/jdk1.8.0_60

 2) 修改core-site.xml

 <configuration>   //配置hdfs   <property>   <name>fs.defaultFS</name>   <value>hdfs://hd-01:9000</value>   </property>  </configuration>

 3) 修改hdfs-site.xml

 <configuration>   //配置元数据存储位置   <property>   <name>dfs.namenode.name.dir</name>   <value>/root/hd/dfs/name</value>   </property>   //配置数据存储位置   <property>   <name>dfs.datanode.data.dir</name>   <value>/root/hd/dfs/data</value>   </property>  </configuration>    4)格式化namenode  hadoop namenode -format    5)分发hadoop到其它机器  scp -r ~/hd/hadoop-2.8.4/ hd09-02:/root/hd/  scp -r ~/hd/hadoop-2.8.4/ hd09-03:/root/hd/    6)配置hadoop环境变量  export JAVA_HOME=/root/hd/jdk1.8.0_141  export HADOOP_HOME=/root/hd/hadoop-2.8.4  export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin    6)分发hadoop环境变量  scp -r /etc/profile hd09-02:/etc    注意：加载环境变量 source /etc/profile    7)启动namenode  hadoop-daemon.sh start namenode    8)启动datanode  hadoop-daemon.sh start datanode    9)访问namenode提供的web端口：50070     4-> 自动批量的启动脚本

1.  1）修改配置文件slaves(01机器也要在hadoop01)  hd09-02  hd09-03    2）执行启动命令  start-dfs.sh  start-dfs.sh