hadoop伪分布式

Posted jsg-1262534563

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了hadoop伪分布式相关的知识,希望对你有一定的参考价值。

1、传输jdk和Hadoop压缩包

2、解压jdk和hadoop压缩包

3、配置jdk环境和hadoop环境并生效

4、单机模式配置hadoop -env.sh:本地模式没有HDFS和Yarn,配置JDK后MapReduce能够运行java程序。

5、Hadoop伪分布式模式配置

一、5个配置文件

①core-site.xml
<!--配置HDFS主节点,namenode的地址,9000是RPC通信端口-->
<property>
        <name>fs.defaultFS</name>
        <value>hdfs://bigdata128:9000</value>
</property>
<!--配置HDFS数据块和元数据保存的目录,一定要修改-->
<property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-2.7.3/tmp</value>
</property>

②hdfs-site.xml
<!--注释配置数据块的冗余度,默认是3-->   
<property>  
      <name>dfs.replication</name>  
      <value>1</value>  
</property>  
<!--secondaryNameNode的主机地址-->
<property>
         <name>dfs.namenode.secondary.http-address</name>
         <value>bigdata128:50090</value>
</property>

③mapred-site.xml(该配置文件不存在,先复制)
cp  mapred-site.xml.template  mapred-site.xml   
<!--配置MR程序运行的框架-->   
<property>   
   <name>mapreduce.framework.name</name>
   <value>yarn</value>
</property>

④yarn-site.xml
<!--配置Yarn的节点-->   
<property>   
   <name>yarn.resourcemanager.hostname</name>
   <value>bigdata128</value>
</property> 
<!--NodeManager执行MR任务的方式是Shuffle洗牌-->   
<property> 
   <name>yarn.nodemanager.aux-services</name>
   <value>mapreduce_shuffle</value>
</property>

⑤Slaves文件里使用默认localhost,或者添加 bigdata128(既是NameNode又是DataNode)
注:如果Slaves文件为空,就没有DataNode和NodeManager。
⑥修改\etc\hosts配置文件
运行命令  vi  \etc  hosts
注释掉已有内容,添加虚拟机的ip及对应主机名:
192.168.163.128  bigdata128
⑦修改\etc\hostname配置文件
运行命令  vi  \etc  hostname
添加虚拟机的主机名:
bigdata128
重启虚拟机,主机名生效。

6、格式化:hdfs namenode -format

7、启动:start-all.sh

8、查看伪分布式配置是否成功:

①执行ll,查看/opt/module/hadoop-2.7.3/tmp/dfs目录,如下图所示,则正确。
②执行jps,如下图所示,NameNode、DataNode、SecondaryNameNode、ResourceManager、NodeManager如果全部启动,伪分布式配置成功。

以上是关于hadoop伪分布式的主要内容,如果未能解决你的问题,请参考以下文章

搭建spark伪分散式需要先搭建hadoop吗

Hadoop中单机模式和伪分布式的区别是啥

我做hadoop伪分布式的时候,将本地文件上传到dfs中去,但是老是提示不存在,还请大神帮忙看一下。

Hadoop安装最后一步~Hadoop伪分布式配置

Hadoop伪分布式配置

Hadoop 配置-Hadoop伪分布式配置