hadoop单机伪分布式
Posted wyju
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了hadoop单机伪分布式相关的知识,希望对你有一定的参考价值。
hadoop伪分布式
修改配置文件之前,别忘了免密
1.使用 ssh-keygen 命令,在 /home/hadoop/.ssh 目录下生成公钥和私钥,所有选项全部敲回车
ssh-keygen
2.使用 ssh-copy-id localhost 命令,发送本机的公钥给 localhost,本机就可以免密登录 localhost
ssh-copy-id localhost
hadoop的配置文件在etc/hadoop/里面
cd etc/hadoop/
2.修改配置文件core-site.xml
<!-- 所有hadoop的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop/tmp</value>
</property>
<!-- 默认hadoop的hdfs的命名,端口为9000-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
3.修改配置文件hdfs-site.xml
<!-- hdfs的副本个数,默认是3个-->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<!--确定DFS名称节点在本地文件系统中存储名称表(fsimage)的位置-->
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/name</value>
</property>
<!--确定DFS名称节点在本地文件系统中存储名称表(fsimage)的位置-->
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/data</value>
</property>
4.修改配置文件 yarn-env.sh
export JAVA_HOME=/usr/local/lib/jdk1.8.0_212
5.修改配置文件 yarn-site.xml
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
6.修改配置文件mapred-site.xml
(1)如果没有此文件,执行下面命令。重命名 mapred-site.xml.template 文件为 mapred-site.xml
mv mapred-site.xml.template mapred-site.xml
(2)修改文件内容
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
7.执行namenode格式化
一定要进到hadoop下面
cd /usr/local/hadoop/
./bin/hdfs namenode -format
8.编辑环境变量
a.进入~/.bashrc里面
vim ~/.bashrc
b.添加以下语句
#HADOOP_HOME
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
c.使环境变量生效
source ~/.bashrc
9.启动伪分布式
./sbin/start-all.sh
10.测试是否成功
jps
以上是关于hadoop单机伪分布式的主要内容,如果未能解决你的问题,请参考以下文章