Hadoop2.6.0伪分布环境搭建

Posted 2020-08-03 赏月斋

 

用到的软件：

一、安装jdk：

1、要安装的jdk，我把它拷在了共享文件夹里面。

  （用优盘拷也可以）

2、我把jdk拷在了用户文件夹下面。

（其他地方也可以，不过路径要相应改变）

3、执行复制安装解压命令：

 解压完毕：

 

查看解压的文件夹：

4、配置 环境变量：

写入如下5行代码：

使配置生效：

5、查看安装的jdk：

java -version

java

javac

 

 

二、SSH免密码登陆：

1、安装SSH：

2、是否生成 .ssh 目录：

 

3、如果没有生成，自己手动创建一个 .ssh 目录：

 

生成的 .ssh 目录：

 

4、生成公钥与私钥：

效果如下：

 

5、将公钥加入到用于认证的公钥文件中：

 

6、免密码登陆：

效果：

 

 

 

Ubuntu 免密码登陆，SSH配置完。

 

三、安装配置Hadoop：

 

1、复制安装解压Hadoop ：

 

解压完毕效果：

 

2、配置 etc/profile

 

 

 

3、配置 hadoop-env.sh

进入

 

4、修改hadoop-2.6.0文件权限为用户权限：

默认没有mapred-site.xml文件，复制mapred-site.xml.template一份，并把名字改为mapred-site.xml

5、配置下面4个重要文件：

mapred-site.xml

 

 

core-site.xml

 

 

hdfs-site.xml

 

 

yarn-site.xml

 

 

6、格式化：

格式化部分效果：

7、启动：

先启动  start-dfs.sh：

效果：

再启动  start-yarn.sh：

效果：

关闭hadoop：

 

 

 

（注：也可以  sbin/start-all.sh：  建议分开启动。）效果一样，如下：

 

8、查看Web页面信息：

 

 

 

 

 

至此，hadoop-2.6.0伪分布配置成功。