hadoop单机伪分布式

Posted wyju

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了hadoop单机伪分布式相关的知识,希望对你有一定的参考价值。

hadoop伪分布式

修改配置文件之前,别忘了免密

1.使用 ssh-keygen 命令,在 /home/hadoop/.ssh 目录下生成公钥和私钥,所有选项全部敲回车

ssh-keygen

2.使用 ssh-copy-id localhost 命令,发送本机的公钥给 localhost,本机就可以免密登录 localhost

ssh-copy-id localhost

hadoop的配置文件在etc/hadoop/里面

 cd etc/hadoop/

2.修改配置文件core-site.xml

<!-- 所有hadoop的存储目录 -->
	<property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop/tmp</value>
    </property>
  <!-- 默认hadoop的hdfs的命名,端口为9000-->
	<property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>

3.修改配置文件hdfs-site.xml

      <!-- hdfs的副本个数,默认是3-->
	<property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <!--确定DFS名称节点在本地文件系统中存储名称表(fsimage)的位置-->
	<property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/name</value>
    </property>
      <!--确定DFS名称节点在本地文件系统中存储名称表(fsimage)的位置-->
	<property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/data</value>
    </property>

4.修改配置文件 yarn-env.sh

export JAVA_HOME=/usr/local/lib/jdk1.8.0_212

5.修改配置文件 yarn-site.xml

<property>
             <name>yarn.nodemanager.aux-services</name>
             <value>mapreduce_shuffle</value>
</property>

6.修改配置文件mapred-site.xml
(1)如果没有此文件,执行下面命令。重命名 mapred-site.xml.template 文件为 mapred-site.xml

mv mapred-site.xml.template mapred-site.xml

(2)修改文件内容

<property>
             <name>mapreduce.framework.name</name>
             <value>yarn</value> 
</property>

7.执行namenode格式化
一定要进到hadoop下面

cd /usr/local/hadoop/

./bin/hdfs namenode -format


8.编辑环境变量
a.进入~/.bashrc里面

vim ~/.bashrc

b.添加以下语句

#HADOOP_HOME
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

c.使环境变量生效

source  ~/.bashrc

9.启动伪分布式

./sbin/start-all.sh

10.测试是否成功

jps

以上是关于hadoop单机伪分布式的主要内容,如果未能解决你的问题,请参考以下文章

hadoop单机模式和伪分布式模式的异同

Hadoop2.6.0安装—单机/伪分布

hadoop单机模式和伪分布式模式的异同

[Nutch]Hadoop单机伪分布模式的配置

hadoop hadoop 单机伪分布式安装

hadoop单机伪分布式