安装hadoop2.7.3

Posted 2020-09-12 请叫我小路飞

hadoop3与hadoop2.x的变化很大，hadoop3很多东西现在做起来太麻烦了，这里先安装hadoop2.7.3

此贴学习地址http://www.yiibai.com/t/mapreduce/article-14.html，不过有些改动

1.下载解压hadoop包

wget http://apache.claz.org/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz

tar zxf hadoop-2.7.3.tar.gz

mv hadoop-2.7.3/* to hadoop

2.设置hadoop

vi ~/.bashrc

HADOOP_HOME=/home/xiabin/hadoop/hadoop
HADOOP_MAPRED_HOME=$HADOOP_HOME
HADOOP_COMMON_HOME=$HADOOP_HOME
HADOOP_HDFS_HOME=$HADOOP_HOME
YARN_HOME=$HADOOP_HOME
HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

保存退出文件

source ~/.bashrc让bashrc文件立即生效

3.进入hadoop的 etc/hadoop文件

cd $HADOOP_HOME/etc/hadoop

将hadoop-env.sh文件中的export JAVA_HOME={JAVA_HOME}改成自己的java路径

我这里：JAVA_HOME=/usr/java/jdk1.8.0_112

4.编辑以下文件来配置Hadoop 

core-site.xml
hdfs-site.xml
yarn-site.xml
mapred-site.xml

5.修改core-site.xml

core-site.xml 包含以下信息 
用于Hadoop实例的端口号
存储器分配用于文件系统
内存限制用于存储数据
读/写缓存大小
打开core-site.xml，在标签之间添加以下属性

编辑：core-site.xml在configuration中加入

<property>
<name>fs.default.name</name>
<value>hdfs://0.0.0.0:9000</value>
</property>

6.hdfs-site.xml 包含以下信息 

复制数据的值
NameNode的路径
本地文件系统的数据节点的路径（要存储Hadoop下文的地方）

 在它的configuration中间加入

dfs.replication 1   dfs.name.dir file:///home/hadoop/hadoopinfra/hdfs/namenode   dfs.data.dir file:///home/hadoop/hadoopinfra/hdfs/datanode

这是namenode和datanode的地址，这些地址可以根据自己的喜好配置

7.yarn-site.xml

此文件用于配置yarn 到Hadoop 。打开yarn-site.xml 文件，并在标记之间添加以下属性。

yarn.nodemanager.aux-services mapreduce_shuffle 

8.mapred-site.xml

此文件用于指定我们正在使用MapReduce框架。默认情况下，Hadoop含有yarn-site.xml模板。首先，需要将文件从mapred-site.xml 复制。使用以下命令复制模板 mapred-site.xml 文件。

cp mapred-site.xml.template mapred-site.xml

在configuration中加入：mapreduce.framework.name yarn

9.设置名称节点使用命令 “hdfs namenode -format” 如下

$ cd ~
$ hdfs namenode -format

验证Hadoop dfs（节点）

$ start-dfs.sh,正常启动

 

第3步 - 验证Yarn 脚本（管理节点的平台）
以下命令用于启动yarn 脚本。执行该命令将启动yarn 守护进程。
$ start-yarn.sh

 

10测试访问

IP:50070(如果在服务器上面配置的hadoop记得开启50070端口的防火墙)

访问IP:8088

11配置hdfs的下的文件

 新建用户: hdfs dfs -mkdir /waterlufei

 新建目录: hdfs dfs -mkdir /waterlufei/hadoop

 新建目录: hdfs dfs -mkdir /waterlufei/hadoop/input

 将dream.txt放入到input文件夹下: hdfs dfs -put dream.txt /waterlufei/hadoop/input

 查看hdfs下所有的目录: hdfs dfs -ls /

 查看hdfs下某个目录:hdfs dfs -ls /waterlufei/hadoop/input