HDFS集群安装

Posted areyouready

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了HDFS集群安装相关的知识,希望对你有一定的参考价值。

DFS集群安装:
1.准备工作 (1)虚拟机(电脑8G 磁盘500GB) (2)3台linux系统(1台namenode 2台datanode)
2.安装HDFS(软件) (1)关闭防火墙 firewall-cmd --state 查看防火墙状态 systemctl stop firewalld.service 关闭防火墙 systemctl disable firewalld.service 禁止开机启动 (2)远程连接(CRT或者Xshell) (3)永久设置主机名 vi /etc/hostname 注意:要reboot重启 (4)配置映射文件 vi /etc/hosts 192.168.80.10 master 192.168.80.11 slave1 192.168.80.12 slave2 (5)安装jdk tar -zxvf jdk-8u121-linux-x64.tar.gz vi /etc/profile export JAVA_HOME=/root/hd/jdk1.8.0_121 export PATH=$PATH:$JAVA_HOME/bin source /etc/profile 声明环境变量 scp -r /root/hd/jdk1.8.0_121 [email protected]:/root/hd/jdk1.8.0_121 把解压好的jdk拷贝到slave1机器上 (6)配置免密登录 ssh-keygen 生成密钥对 ssh-copy-id master ssh-copy-id slave1 ssh-copy-id slave2 3.安装HDFS (1)解压tar包 tar -zxvf hadoop-2.8.4.tar.gz (2)修改配置文件 cd /root/hd/hadoop-2.8.4/etc/hadoop
1) vi core-site.xml
修改 <configuration>   <property>     <name>fs.defaultFS</name>     <value>hdfs://master:9000</value>   </property> </configuration> 2) vi hdfs-site.xml
修改 <configuration>   <property>     <name>dfs.namenode.name.dir</name>   <value>/root/dfs/name</value> </property> <property>   <name>dfs.datanode.data.dir</name>     <value>/root/dfs/data</value>   </property> </configuration>


3) vi hadoop-env.sh 
文件中增加
# export JAVA_HOME=你的java路径
export JAVA_HOME=/root/hd/jdk1.8.0_121

4) vi slaves 添加两个子节点(datanode)
slave1

slave2
(3)配置hadoop环境变量
vi /etc/profile
export JAVA_HOME=/root/hd/jdk1.8.0_121
export PATH=$PATH:$JAVA_HOME/bin
export HADOOP_HOME=/root/hd/hadoop-2.8.4
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

(4)格式化namenode
hadoop namenode -format

(5)启动hdfs
hadoop-daemon.sh start namenode 
hadoop-daemon.sh start datanode

(6)访问web端口
master:50070

(7)自动启动脚本
单节点启动:
hadoop-deamon.sh start namenode hadoop-deamon.sh start datanode 集群启动:start-dfs.sh 4.hdfs客户端命令 1)查看存储的文件 hdfs dfs -cat / 2)上传数据 hdfs dfs -put 文件 /路径 3)剪切文件到hdfs hdfs dfs -moveFromLocal hunter.txt /haha.txt 4)下载数据到本地 hdfs dfs -get /路径 路径 5)创建文件夹 hdfs dfs -mkdir /文件夹 6)强制创建文件夹 hdfs dfs -mkdir -p /文件夹/文件夹

 

















以上是关于HDFS集群安装的主要内容,如果未能解决你的问题,请参考以下文章

HDFS集群安装部署

HDFS集群安装部署

Hadoop集群 HDFS搭建

Hadoop集群搭建 HDFS

HDFS集群中DataNode的上线与下线

CentOS 6.5 安装HDFS集群(Hadoop-2.7.3)