HDFS集群安装

Posted 2021-01-09 areyouready

DFS集群安装：

1.准备工作
（1）虚拟机(电脑8G 磁盘500GB)
（2）3台linux系统（1台namenode 2台datanode）

2.安装HDFS(软件)
（1）关闭防火墙
firewall-cmd --state 查看防火墙状态
systemctl stop firewalld.service 关闭防火墙
systemctl disable firewalld.service 禁止开机启动

（2）远程连接（CRT或者Xshell）

（3）永久设置主机名
vi /etc/hostname
注意：要reboot重启

（4）配置映射文件
vi /etc/hosts
192.168.80.10 master
192.168.80.11 slave1
192.168.80.12 slave2

（5）安装jdk
tar -zxvf jdk-8u121-linux-x64.tar.gz
vi /etc/profile 

export JAVA_HOME=/root/hd/jdk1.8.0_121
export PATH=$PATH:$JAVA_HOME/bin

source /etc/profile 声明环境变量
scp -r /root/hd/jdk1.8.0_121  [email protected]:/root/hd/jdk1.8.0_121   把解压好的jdk拷贝到slave1机器上

（6）配置免密登录
ssh-keygen 生成密钥对
ssh-copy-id master
ssh-copy-id slave1
ssh-copy-id slave2

3.安装HDFS
（1）解压tar包
tar -zxvf hadoop-2.8.4.tar.gz

（2）修改配置文件
cd /root/hd/hadoop-2.8.4/etc/hadoop
1) vi core-site.xml
修改
<configuration>
　　<property>
　　　　<name>fs.defaultFS</name>
　　　　<value>hdfs://master:9000</value>
　　</property>
</configuration>

2) vi hdfs-site.xml
修改
<configuration>
　　<property>
　　　　<name>dfs.namenode.name.dir</name>
　　<value>/root/dfs/name</value>
</property>

<property>
　　<name>dfs.datanode.data.dir</name>
　　　　<value>/root/dfs/data</value>
　　</property>
</configuration>

3) vi hadoop-env.sh 
文件中增加
# export JAVA_HOME=你的java路径
export JAVA_HOME=/root/hd/jdk1.8.0_121

4) vi slaves   添加两个子节点（datanode）
slave1
slave2

（3）配置hadoop环境变量
vi /etc/profile
export JAVA_HOME=/root/hd/jdk1.8.0_121
export PATH=$PATH:$JAVA_HOME/bin
export HADOOP_HOME=/root/hd/hadoop-2.8.4
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

（4）格式化namenode
hadoop namenode -format

（5）启动hdfs
hadoop-daemon.sh start namenode 
hadoop-daemon.sh start datanode

（6）访问web端口
master:50070

（7）自动启动脚本
单节点启动：
hadoop-deamon.sh start namenode 
hadoop-deamon.sh start datanode

集群启动：start-dfs.sh

4.hdfs客户端命令

1）查看存储的文件
hdfs dfs -cat /

2）上传数据
hdfs dfs -put 文件 /路径

3）剪切文件到hdfs
hdfs dfs -moveFromLocal hunter.txt /haha.txt

4）下载数据到本地
hdfs dfs -get /路径 路径

5）创建文件夹
hdfs dfs -mkdir /文件夹

6）强制创建文件夹
hdfs dfs -mkdir -p /文件夹/文件夹