Hadoop伪分布式的搭建:
Posted 在秃头路上的少女
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Hadoop伪分布式的搭建:相关的知识,希望对你有一定的参考价值。
1、配置主机的IP地址(修改的文件是:/etc/sysconfig/network-scripts/ifcfg-eno16777736)
#在末尾加上
IPADDR=192.168.20.20 #IP地址
NETMASK=255.255.255.0 #网关
GATEWAY=192.168.20.2 #网卡
DNS1=192.168.20.2 #DNS服务器
2、配置文件后重启网络服务后生效,并查询IP地址:
systemctl restart network # 重启服务
ip add #查看IP地址
3、修改主机名:
hostnamectl set-hostname master #master为主机名
bash #刷新
4、配置主机的映射:(文件在:/etc/hosts)
192.168.20.20 master #ip地址 主机名
5、关闭防火墙:
#关闭防火墙
systemctl stop firewalld
systemctl disable firewalld
#查看防火墙状态
systemctl status firewalld
6、将Hadoop与jdk文件解压到指定文件夹:
hadoop与jdk文件放在/root/目录下,解压到/opt文件夹下
#解压到指定目录
tar -zxvf /root/hadoop-2.7.3.tar.gz -C /opt
tar -zxvf /root/jdk1.8.0_144.tar.gz -C /opt
#查看
ll /opt
7、SSH无密码连接本机:
# 1、生成密钥对
ssh-keygen -t rsa
# 2、将公钥文件导出传递给本机,注意公钥文件的路径,操作是需要输入root用户的密码
ssh-copy-id -i /root/.ssh/id_rsa.pub master
# 3、检验,用ssh命令连接本机(无需密码)
ssh master
8、修改环境变量文件并验证是否配置成功(文件在/etc/profile):
# 在文件末尾处添加
export JAVA_HOME=/opt/jdk1.8.0_144 #配置jdk环境
export HADOOP_HOME=/opt/hadoop-2.6.0 #配置hadoop环境 PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
# 保存退出
#刷新文件
source /etc/profile
# 查看hadoop与java是否生效,出现版本号,说明配置成功(若未查到命令,需要再次检查/etc/profile文件哦!!!)
hadoop version
java -version
9、配置hadoop相关文件(文件目录:/opt/hadoop-2.7.3/etc/hadoop里):
(1)、core-site.xml文件:(在<configuration></configuration>标签中插入)
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value> #master:主机名
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/hadoop-2.6.0/tmp</value> #/opt/hadoop-2.6.0:hadoop解压缩路径
</property>
(2)、hadoop-env.sh 文件:
export JAVA_HOME=/opt/jdk1.8.0_144 #jdk解压缩路径
(3)、hdfs-site.xml文件:
<property>
<name>dfs.namenode.name.dir</name>
<value>/opt/hadoop-2.6.0/dfs/name</value> #/opt/hadoop-2.6.0:hadoop解压路径
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/opt/hadoop-2.6.0/dfs/data</value> #/opt/hadoop-2.6.0:hadoop解压路径
</property>
<property>
<name>dfs.namenode.checkpoint.dir</name>
<value>/opt/hadoop-2.6.0/dfs/namesecondary</value> #/opt/hadoop-2.6.0:hadoop解压路径
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>master:50090</value> #master:主机名
</property>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
(4)、mapred-site.xml 文件(mapred-site.xml 文件默认不不存在,先从模板复制出来):
# 复制并改名
cp mapred-site.xml.template mapred-site.xml
#配置信息
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>master:10020</value> #master:主机名
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>master:19888</value> #master:主机名
</property>
(5)、yarn-site.xml 文件:设置 yarn 资源管理器的主机名,设置 yarn 节点管理器辅助功能
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value> #master:主机名
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
10、格式化:(注:格式化操作不能重复执行,如需重复执行,须将/opt/hadoop/dfs 目录下 的内容清空再执行格式化)
hadoop namenode -format
11、启动hadoop,查看进程:
# 启动hadoop
start-all.sh
#jps查看进程:
jps
#有以下进程说明搭建hadoop成功
2289 NodeManager
1875 SecondaryNameNode
2724 Jps
1669 DataNode
2167 ResourceManager
1544 NameNode
#(进程号可以不同,但进程不能说少)
以上是关于Hadoop伪分布式的搭建:的主要内容,如果未能解决你的问题,请参考以下文章