新手上路——hadoop2.7.3伪分布式模式环境搭建

Posted 2022-12-02 Maggie张张

创建文件夹
在/usr/lib/hadoop目录下创建文件夹

mkdir tmp
mkdir hdfs
mkdir hdfs/name
mkdir hdfs/data

修改配置文件
配置文件都在安装目录的etc/hadoop下，修改hadoop-env.sh，添加JAVA_HOME环境变量

export JAVA_HOME=/usr/lib/java/jdk1.8.0_121

在配置文件中找到三个xml文件：
core-site.xml: hadoop core的配置项，例如HDFS和MAPREDUCE常用的I/O设置等。
hdfs-site.xml: hadoop守护进程的配置项，包括namenode, secondarynamenode 和datanode等。
mapred-site.xml.templates: Mapreduce守护进程配置项，包括jobtracker和tasktracker.

修改core-site.xml

修改hdfs-site.xml文件：

修改mapred-site.xml.templates文件：

启动伪分布式模式
第一次启动都要格式化数据文件，命令：

hadoop@ubuntu:~$ hadoop namenode -format

出现以下信息说明格式化成功：

启动hadoop命令，新版的hadoop start-all.sh文件在sbin目录下

./sbin/start-all.sh

查看守护进程情况，执行jps命令，但是我在执行的时候发现command not found，查找原因之后发现英爱编剧/etc/profile文件，加入java的PATH环境变量

export PATH=$JAVA_HOME/bin:$PATH
source /etc/profile

然后执行JPS命令

表示启动成功

web访问端口

NamNode 50070
ResourceManager 8088
访问http://localhost:8088

访问http://localhost:50070

遇到的问题备注
前一天搭建单机模式的时候，hadoop安装完毕，执行hadoop version 命令是可以看到hadoop版本信息的，但是今天突然看不到了，网上给的解决方案是：
编辑~/.bashrc文件，添加

export PATH=$PATH:/usr/lib/hadoop/bin/