hadoop 2.x安装需要单独安装yarn吗
Posted
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了hadoop 2.x安装需要单独安装yarn吗相关的知识,希望对你有一定的参考价值。
参考技术A不需要
1 hadoop版本
hadoop-2.2.0,这是hadoop2.0的第一个稳定版,在2013年10月15日发布。
2 安装机器
这里以2台机器为例,一台master,一台slaver。多台slaver的情况一样。
master:hadoop2-m1
slaver:hadoop2-s1
3 配置
hadoop安装的根目录是 HADOOP_HOME=/your/path/to/hadoop-2.2.0
则配置目录默认是:HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
需要对$HADOOP_CONF_DIR目录下的四个配置文件进行配置:
core-site.xml
hdfs-site.xml
mapred-site.xml
yarn-site.xml
3.1 设置JAVA_HOME环境变量
export JAVA_HOME=/your/path/to/jdkdir
3.2 设置core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop2-m1:8020</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/tmp/hadoop2.0</value>
</property>
</configuration>
3.3 设置hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/home/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/home/dfs/data</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
3.4 设置mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
3.5 yarn-site.xml
<configuration>
<property>
<name>yarn.resourcemanager.address</name>
<value>hadoop2-m1:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>hadoop2-m1:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>hadoop2-m1:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>hadoop2-m1:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>hadoop2-m1:8088</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.class</name>
<value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>
注意:yarn.nodemanager.aux-services的值是“mapreduce_shuffle”(在hadoop-2.1-beta中的值是“mapreduce.shuffle”)
4 启动
4.1 格式化
cd $Hadoop_HOME
bin/hdfs namenode -format
4.2 在hadoop2-m1中启动 namenode 和 resourcemanager
sbin/hadoop-daemon.sh start namenode
sbin/yarn-daemon.sh start resourcemanager
#停止服务的命令
sbin/hadoop-daemon.sh stop namenode
sbin/yarn-daemon.sh stop resourcemanager
4.3 在hadoop2-s1中启动 datanode 和 nodemanager
sbin/hadoop-daemon.sh start datanode
sbin/yarn-daemon.sh start nodemanager..
#停止服务的命令
sbin/hadoop-daemon.sh stop datanode
sbin/yarn-daemon.sh stop nodemanager
4.4 在hadoop2-m1中启动 proxyserver 和 historyserver
sbin/yarn-daemon.sh start proxyserver
sbin/mr-jobhistory-daemon.sh start historyserver
#停止服务的命令
sbin/yarn-daemon.sh stop proxyserver
sbin/mr-jobhistory-daemon.sh stop historyserver
5 检查和测试
5.1 检查以下两个页面是否能打开
http://hadoop2-m1:50070/dfshealth.jsp
http://hadoop2-m1:8088/cluster/nodes
5.2 运行以下hdfs命令
bin/hdfs dfs -mkdir /test/input1
bin/hdfs dfs -put NOTICE.txt /test/input1/
bin/hdfs dfs -put README.txt /test/input1/
bin/hdfs dfs -get /test/input1/NOTICE.txt /tmp/
bin/hdfs dfs -cat /test/input1/NOTICE.txt
5.3 运行mapreduce job
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar grep /test/input1 /test/output1 'code'
6 实战tips
第一次安装hadoop2.0版本的时候,最好是像本文一样先做最基本的配置,让hadoop2.0能正常启动,然后再逐步加上其他的特性。
以上是关于hadoop 2.x安装需要单独安装yarn吗的主要内容,如果未能解决你的问题,请参考以下文章