Hadoop2.7.1安装与配置
Posted 哼哼哈哈二将
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Hadoop2.7.1安装与配置相关的知识,希望对你有一定的参考价值。
Hadoop2.7.1集群环境的搭建
s204、s205是我的两台服务器hostname,可以用你对应的ip或者hostname代替
方法/步骤
-
首先去Apache下载最新的安装包吧
2.7.0是测试版,2.7.1是稳定版的就用这个吧
-
tar zxvf hadoop-2.7.1.tar.gz
解压安装包
-
安装目录下创建数据存放的文件夹,tmp、hdfs、hdfs/data、hdfs/name
-
修改/home/yy/hadoop-2.7.1/etc/hadoop下的配置文件
修改core-site.xml,加上
<property>
<name>fs.defaultFS</name>
<value>hdfs://s204:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/home/yy/hadoop-2.7.1/tmp</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131702</value>
</property>
-
修改hdfs-site.xml,加上
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/home/yy/hadoop-2.7.1/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/home/yy/hadoop-2.7.1/dfs/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>s204:9001</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
-
修改mapred-site.xml,加上
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>s204:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>s204:19888</value>
</property>
-
修改yarn-site.xml,加上
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>s204:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>s204:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>s204:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>s204:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>s204:8088</value>
</property>
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>768</value>
</property>
-
配置/home/yy/hadoop-2.7.1/etc/hadoop目录下hadoop-env.sh、yarn-env.sh的JAVA_HOME,否则启动时会报error
export JAVA_HOME=/home/yy/jdk1.8
-
配置/home/yy/hadoop-2.7.1/etc/hadoop目录下slaves
加上你的从服务器,我这里只有一个s205
配置成功后,将hadhoop复制到各个从服务器上
scp -r /home/yy/hadoop-2.7.1 [email protected]:/home/yy/
-
主服务器上执行bin/hdfs namenode -format
进行初始化
sbin目录下执行 ./start-all.sh
可以使用jps查看信息
停止的话,输入命令,sbin/stop-all.sh
-
这时可以浏览器打开s204:8088查看集群信息啦
到此配置就成功啦,开始你的大数据旅程吧。。。
-
以上是关于Hadoop2.7.1安装与配置的主要内容,如果未能解决你的问题,请参考以下文章
Hadoop集群安装配置教程_Hadoop2.6.0_Ubuntu/CentOS
Linux下Hadoop2.7.1集群环境的搭建(超详细版)