hadoop的安装和配置——第二章：伪分布模式

Posted 2020-10-19 魁·帝小仙

博主会用三篇文章为大家详细的说明hadoop的三种模式：

本地模式

伪分布模式

完全分布模式

---

 

伪分布式模式：

这篇为大家带来hadoop的伪分布模式：

从最简单的方面来说，伪分布模式就是在本地模式上修改配置文件：

core-site.xml;hdfs-site.xml;mapred-site.xml;yarn-site.xml4

备注：本地模式见hadoop的安装与配置——第一章：本地模式

思路简介

|——————————|

| 　①：ssh免密登陆   |

| 　②：修改配置文件   |

| 　③：格式化hadoop  |

| 　④：启动hadoop     |

|——————————|

一：ssh的免密登陆

生成id_rsa和id_rsa.pub

[root@localhost hadoop]# ssh-keygen -t rsa

 

进入/root/.ssh下：将id_rsa.pub的信息发在authorized_keys下：

1 [root@localhost hadoop]# cd /root/.ssh/
2 [root@localhost .ssh]# cat id_rsa.pub >> authorized_keys
3 [root@localhost .ssh]# ls
4 authorized_keys  id_rsa  id_rsa.pub  known_hosts

 

SSH免密登陆详细文档链接地址

---

 

二：关于配置文件的主要内容

core-site.xml：指定hadoop的主节点master

hdfs-site.xml：指定hadoop中的文件副本数

mapred-site.xml：指定mapreduce的资源管理

yarn-site.xml：——————————————

配置文件可以从hadoop的官方文档中下载，有详细解释，这里为了减少对大家的干扰，就直接选取了部分：

 1 [root@localhost hadoop]# cd /usr/local/hadoop/etc/hadoop/
 2 [root@localhost hadoop]# pwd
 3 /usr/local/hadoop/etc/hadoop
 4 [root@localhost hadoop]# ls
 5 capacity-scheduler.xml      httpfs-env.sh            mapred-env.sh
 6 configuration.xsl           httpfs-log4j.properties  mapred-queues.xml.template
 7 container-executor.cfg      httpfs-signature.secret  mapred-site.xml
 8 core-site.xml               httpfs-site.xml          mapred-site.xml.template
 9 hadoop-env.cmd              kms-acls.xml             slaves
10 hadoop-env.sh               kms-env.sh               ssl-client.xml.example
11 hadoop-metrics2.properties  kms-log4j.properties     ssl-server.xml.example
12 hadoop-metrics.properties   kms-site.xml             yarn-env.cmd
13 hadoop-policy.xml           log4j.properties         yarn-env.sh
14 hdfs-site.xml               mapred-env.cmd           yarn-site.xml

 

core-site.xml配置修改：

1 <configuration>
2         <property>
3                 <name>fs.default.name</name>
4                 <value>hdfs://localhost</value>（主节点为本机localhost）
5         </property>
6 </configuration>

hdfs-site.xml配置修改：

1 <configuration>
2         <property>
3                 <name>dfs.replication</name>
4                 <value>1</value>（伪分布模式）
5         </property>
6 </configuration>

mapred-site.xml配置修改：

备注：

1 若没有mapred-site.xml，选择以下方法复制
2 [root@localhost hadoop]# cp mapred-site.xml.template mapred-site.xml

1 <configuration>
2         <property>
3                 <name>mapreduce.framework.name</name>
4                 <value>yarn</value>（选择yarn来mapreduce）
5         </property>
6 </configuration>

yarn-site.xml配置修改：

 1 <configuration>
 2         <property>
 3                 <name>yarn.resourcemanager.hostname</name>
 4                 <value>localhost</value>
 5         </property>
 6         
 7         <property>
 8                 <name>yarn.nodemanager.aux-services</name>
 9                 <value>mapreduce_shuffle</value>
10         </property>
11 </configuration>

 

---

 

三：格式化hadoop

hadoop namenode -format

 

格式化一次就好了

---

 

四：启动hadoop

start-all.sh

备注：关闭hadoop：stop-all.sh

想要知道hadoop是否配置成功，那么就使用jps来查询一下进程吧！

我们知道hadoop主要分为存储和计算，所以我们主要查询一下存储和计算的进程是否启动：

1 [root@localhost hadoop]# jps
2 31105 NodeManager（从）（计算）
3 30675 SecondaryNameNode（主-副本）（计算）
4 31139 Jps
5 30822 ResourceManager（主）（计算）
6 30510 DataNode（从）（存储）
7 30382 NameNode（主）（存储）

有不清楚的地方欢迎大家提问，有问题欢迎大家给出方法！

2017-12-26 15:32:06

 

---

 

本文版权声明：

本文作者：魁·帝小仙

博文主页地址：http://www.cnblogs.com/dxxblog/

欢迎对小博主的博客内容批评指点，如果问题，可评论或邮件联系（[e-mail]）

欢迎转载，转载请在文章页面明显位置给出原文链接，谢谢