hadoop单机伪分布式

Posted 2021-11-21 wyju

hadoop伪分布式

修改配置文件之前，别忘了免密

1.使用 ssh-keygen 命令，在 /home/hadoop/.ssh 目录下生成公钥和私钥，所有选项全部敲回车

ssh-keygen

2.使用 ssh-copy-id localhost 命令，发送本机的公钥给 localhost，本机就可以免密登录 localhost

ssh-copy-id localhost

hadoop的配置文件在etc/hadoop/里面

 cd etc/hadoop/

2.修改配置文件core-site.xml

<!-- 所有hadoop的存储目录 -->
	<property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop/tmp</value>
    </property>
  <!-- 默认hadoop的hdfs的命名，端口为9000-->
	<property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>

3.修改配置文件hdfs-site.xml

      <!-- hdfs的副本个数，默认是3个-->
	<property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <!--确定DFS名称节点在本地文件系统中存储名称表（fsimage）的位置-->
	<property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/name</value>
    </property>
      <!--确定DFS名称节点在本地文件系统中存储名称表（fsimage）的位置-->
	<property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/data</value>
    </property>

4.修改配置文件 yarn-env.sh

export JAVA_HOME=/usr/local/lib/jdk1.8.0_212

5.修改配置文件 yarn-site.xml

<property>
             <name>yarn.nodemanager.aux-services</name>
             <value>mapreduce_shuffle</value>
</property>

6.修改配置文件mapred-site.xml
（1）如果没有此文件，执行下面命令。重命名 mapred-site.xml.template 文件为 mapred-site.xml

mv etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml

（2）修改文件内容

<property>
             <name>mapreduce.framework.name</name>
             <value>yarn</value> 
</property>

7.执行namenode格式化

./bin/hdfs namenode -format

8.编辑环境变量
a.进入~/.bashrc里面

vim ~/.bashrc

b.添加以下语句

#HADOOP_HOME
export HADOOP_HOME=自己的路径
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

c.使环境变量生效

source  ~/.bashrc

9.启动伪分布式

./sbin/start-all.sh

10.测试是否成功

jps