基于centos6.5 hadoop 伪分布式安装
Posted lvlv岁月流逝
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了基于centos6.5 hadoop 伪分布式安装相关的知识，希望对你有一定的参考价值。
步骤1：修改IP 地址和主机名：
vi /etc/sysconfig/network-scripts/ifcfg-eth0
如果该文件打开为空白文件代表你计算机上的网卡文件不是这个名称“ifcfg-eth0” ，可以 cd /etc/sysconfig/network-scripts/ 这个目录查看以ifcfg-***开头的文件，就是你的网卡文件。再进行编辑 vi /etc/sysconfig/network-scripts/ifcfg-***
主要修改项为：
BOOTPROTO="static" ###
IPADDR="192.168.100.70" ###
NETMASK="255.255.255.0" ###
GATEWAY="192.192.100.1" ###
BOOTPROTO 修改为静态
IPADDR 要修改的具体ip
NETMASK 网关
GATEWAY 网关
主机名修改：
Vim /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=hadoop1
hostname 查看主机名
步骤2：修改主机名与ip地址对应关系
vim /etc/hosts
192.168.100.70 hadoop1
步骤3：关闭防火墙
查看防护墙状态
service iptables status
关闭
service iptables stop
查看防火墙开机启动状态
chkconfig iptables --list
关闭开机启动
chkconfig iptables off
步骤4：安装jdk 首先下载jdk7 jdk-7u79-linux-x64.gz
将jdk-7u79-linux-x64.gz 复制到/usr/local/目录下
解压：tar -zxvf jdk-7u79-linux-x64.gz 解压成功后会在/usr/local/目录下产生 java-1.7.0_79目录。
配置环境变量：
vim /etc/profile
在文件最下面添加如下内容：
export JAVA_HOME=/usr/local/java-1.7.0_79
exprot PATH=$PATH:$JAVA_HOME/bin
保存退出
使上面文件立即生效：
source /etc/profile
验证安装是否成功：
java -version
如果出现jdk1.7之类字样代表安装成功
步骤5：安装hadoop2.7.1
上传hadoop安装包到 /usr/local/hadoop-2.7.1.tar.gz
并进行解压 ：
tar -zxvf hadoop-2.7.1.tar.gz
只有解压之后才可以操作以下步骤。
伪分布式需要修改5个配置文件
3.1配置hadoop
第一个：hadoop-env.sh（所在目录/usr/local/hadoop-2.7.1/etc/hadoop/）
vim hadoop-env.sh
#第27行
export JAVA_HOME=/usr/local/java-1.7.0_79
以下几个xml都在/usr/local/hadoop-2.7.1/etc/haoop/目录下
第二个：core-site.xml
<!-- 制定HDFS的老大（NameNode）的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop1:9000</value>
</property>
<!-- 指定hadoop运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop-2.7.1/tmp</value>
</property>
备注：这里的hadoop1是计算机名
第三个：hdfs-site.xml
<!-- 指定HDFS副本的数量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
第四个：mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)
mv mapred-site.xml.template mapred-site.xml
vim mapred-site.xml
<!-- 指定mr运行在yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
第五个：yarn-site.xml
<!-- 指定YARN的老大（ResourceManager）的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop1</value>
</property>
<!-- reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
//备注这里的hadoop1是计算机名
3.2将hadoop添加到环境变量
vim /etc/proflie
export JAVA_HOME=/usr/local/java/jdk1.7.0_79
export HADOOP_HOME=/usr/local/hadoop-2.7.1
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
修改完成后profile,使之立即生效命令：
source /etc/profile
步骤6：验证与测试
1格式化namenode（是对namenode进行初始化）
hdfs namenode -format (hadoop namenode -format)
2启动hadoop
先启动HDFS
sbin/start-dfs.sh
再启动YARN
sbin/start-yarn.sh
3验证是否启动成功
使用jps命令验证
3504 DataNode
3386 NameNode
3813 ResourceManager
4087 NodeManager
3664 SecondaryNameNode
4206 Jps
http://192.168.100.70:50070 （HDFS管理界面）
http://192.168.100.70:8088 （MR管理界面）
测试hdfs:
上传文件进行测试
hadoop fs -put /usr/local/hadoop/hadoop-2.7.1.tar.gz hdfs://hadoop1:9000/hadoop
“/usr/local/hadoop/hadoop-2.7.1.tar.gz”是本地一个文件，“hdfs://hadoop1:9000/hadoop”代表hdfs上的一个文件位置
下载文件测试 ：
hadoop fs -get hdfs://hadoop1:9000/hadoop /home/hd
测试yarn
首先进入hadoop的安装目录下的/share/hadoop/mapreduce/ ，
再使用hadoop-mapreduce-examples-2.7.1.jar
新建一个文件words文件内容如下，并上传到hdfs中
Hello tom
Hello jer
Hello jack
Hello kety
Hello tom
上传到hdfs;
hadoop fs -put /usr/hadoop/words hdfs://hadoop1:9000/words
hadoop jar hadoop-mapreduce-examples-2.7.1.jar wordcount hdfs://hadoop1:9000/words hdfs://hadoop1:9000/wordresult
下载hdfs://hadoop1:9000/wordresult 可以查看内容
Hello 5
jack 1
jer 1
kety 1
tom 2
代表hadoop伪分部式安装成功
以上是关于基于centos6.5 hadoop 伪分布式安装的主要内容，如果未能解决你的问题，请参考以下文章
HBase基础教程1HBase之单机模式与伪分布式模式安装(转)