hadoop伪分布式

Posted 2021-12-07 jsg-1262534563

1、传输jdk和Hadoop压缩包

2、解压jdk和hadoop压缩包

3、配置jdk环境和hadoop环境并生效

4、单机模式配置hadoop -env.sh：本地模式没有HDFS和Yarn，配置JDK后MapReduce能够运行java程序。

5、Hadoop伪分布式模式配置

一、5个配置文件

①core-site.xml
<!--配置HDFS主节点，namenode的地址，9000是RPC通信端口-->
<property>
        <name>fs.defaultFS</name>
        <value>hdfs://bigdata128:9000</value>
</property>
<!--配置HDFS数据块和元数据保存的目录，一定要修改-->
<property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-2.7.3/tmp</value>
</property>

②hdfs-site.xml
<!--注释配置数据块的冗余度，默认是3-->   
<property>  
      <name>dfs.replication</name>  
      <value>1</value>  
</property>  
<!--secondaryNameNode的主机地址-->
<property>
         <name>dfs.namenode.secondary.http-address</name>
         <value>bigdata128:50090</value>
</property>

③mapred-site.xml(该配置文件不存在，先复制)
cp  mapred-site.xml.template  mapred-site.xml   
<!--配置MR程序运行的框架-->   
<property>   
   <name>mapreduce.framework.name</name>
   <value>yarn</value>
</property>

④yarn-site.xml
<!--配置Yarn的节点-->   
<property>   
   <name>yarn.resourcemanager.hostname</name>
   <value>bigdata128</value>
</property> 
<!--NodeManager执行MR任务的方式是Shuffle洗牌-->   
<property> 
   <name>yarn.nodemanager.aux-services</name>
   <value>mapreduce_shuffle</value>
</property>

⑤Slaves文件里使用默认localhost，或者添加 bigdata128（既是NameNode又是DataNode）
注：如果Slaves文件为空，就没有DataNode和NodeManager。
⑥修改\etc\hosts配置文件
运行命令  vi  \etc  hosts
注释掉已有内容，添加虚拟机的ip及对应主机名：
192.168.163.128  bigdata128
⑦修改\etc\hostname配置文件
运行命令  vi  \etc  hostname
添加虚拟机的主机名：
bigdata128
重启虚拟机，主机名生效。

6、格式化：hdfs namenode -format

7、启动：start-all.sh

8、查看伪分布式配置是否成功：

①执行ll，查看/opt/module/hadoop-2.7.3/tmp/dfs目录，如下图所示，则正确。
②执行jps，如下图所示，NameNode、DataNode、SecondaryNameNode、ResourceManager、NodeManager如果全部启动，伪分布式配置成功。