Hadoop分布式集群搭建
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Hadoop分布式集群搭建相关的知识，希望对你有一定的参考价值。
Linux安装，环境搭建：
1.安装VM
2.安装CentOS_6.5虚拟机，硬盘空间设置为10G
3.设置网络连接：选择VM-编辑-虚拟网络编辑器-更改设置，选择名称VMnet8移除网络，再添加VMnet8网络，选择NAT模式，点击应用
4.设置虚拟机网络连接：右击虚拟机右下角网络适配器-设置-网络适配器，先选择桥接模式，再选择NAT模式，对IP网段进行自动获取
5.设置虚拟机IP地址，用root用户：cd /etc/sysconfig/network-scripts/，vim ifcfg-eth0，
DEVICE="eth0"
BOOTPROTO="static"
NM_CONTROLLED="yes"
ONBOOT="yes"
TYPE="Ethernet"
IPADDR=192.168.111.10
NETMASK=255.255.255.0
GATEWAY=192.168.111.2
DNS1=202.103.24.68
6.重启网络服务：/etc/init.d/network restart
7.验证IP设置是否成功：ifconfig
8.验证是否可以上网：curl www.baidu.com
9.复制两份虚拟机文件，分别作为slave1和slave2，在VM中打开这两台slave虚拟机
10.修改两台slave虚拟机的IP设置：进入/etc/sysconfig/network-scripts/ifcfg-eth0文件，修改IP地址，然后选择虚拟机的网络适配器，删除再添加，重新获取MAC，然后重启网络服务器：/etc/init.d/network restart，查看是否能上网
11.设置共享文件夹：VM虚拟机-设置-选项-共享文件夹，Linux路径：/mnt/hgfs/
安装jdk
12.安装jdk和hadoop：拷贝jdk和Hadoop到/usr/local/src/目录下，
cp hadoop-1.2.1-bin.tar.gz /usr/local/src/
cp jdk-6u45-linux-x64.bin /usr/local/src/
进入/usr/local/src/目录，运行 ./jdk-6u45-linux-x64.bin
13.添加环境变量：vim ~/.bashrc，添加：
export JAVA_HOME=/usr/local/src/jdk1.6.0_45
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin
14.运行source ~/.bashrc
15.运行java查看是否安装成功
16.将jdk远程复制到其他两台slave虚拟机上：
scp -rp jdk-6u45-linux-x64.bin 192.168.111.11:/usr/local/src/
scp -rp jdk-6u45-linux-x64.bin 192.168.111.12:/usr/local/src/
17.在两台slave虚拟机上安装jdk，重新执行步骤12~15
安装Hadoop
18.安装Hadoop：解压Hadoop
tar xvzf hadoop-1.2.1-bin.tar.gz
19.进入hadoop-1.2.1文件夹：cd hadoop-1.2.1
20.创建tmp文件夹：mkdir tmp
21.进入conf文件夹：cd conf/
22.修改配置文件：master和slave,master文件里加master,slave文件里加slave1，slave2
23.修改core-site.xml文件：vim core-site.xml
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/src/hadoop-1.2.1/tmp</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://192.168.111.10:9000</value>
</property>
</configuration>
24.修改mapred-site.xml文件：vim mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>http://192.168.111.10:9001</value>
</property>
</configuration>
25.修改hdfs-site.xml文件：vim hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
</configuration>
26.修改hadoop-env.sh文件：vim hadoop-env.sh 在最后加上java_home：
export JAVA_HOME=/usr/local/src/jdk1.6.0_45
本地配置
27.本地网络配置：vim /etc/hosts，添加：
192.168.111.10 master
192.168.111.11 slave1
192.168.111.12 slave2
28.输入hostname master，使配置立即生效
29.修改hostname：vim /etc/sysconfig/network
HOSTNAME=master
30.将master上修改好的文件远程拷贝到slave1和slave2上：
scp -rp hadoop-1.2.1 192.168.111.11:/usr/local/src/
scp -rp hadoop-1.2.1 192.168.111.12:/usr/local/src/
31.修改slave1和slave2的本地网络配置，重复步骤27~29
32.关闭防火墙，每台虚拟机上执行：/etc/init.d/iptables stop,此种方法为临时关闭，如果遇到虚拟机重启，会失效，需要重新执行步骤32~35
33.检查防火墙是否关闭：iptables -L
34.每台虚拟机上执行：setenforce 0
35.检查，每台虚拟机上执行：getenforce
互信关系
36.虚拟机之间建立互信关系：
在虚拟机上执行：ssh-keygen
进入目录：cd ~/.ssh/
拷贝公钥：cat id_rsa.pub > authorized_keys
将slave1和slave2的id_rsa.pub复制到中，并复制给slave1和slave2：
scp -rp authorized_keys slave1:~/.ssh/
scp -rp authorized_keys slave2:~/.ssh/
启动Hadoop集群
37.进入hadoop-1.2.1/bin目录，启动Hadoop集群：
格式化：hadoop初始化 ./hadoop namenode -format
启动hadoop集群 ./start-all.sh
查看进程：jps
本文出自 “11540061” 博客，请务必保留此出处http://11550061.blog.51cto.com/11540061/1967745
以上是关于Hadoop分布式集群搭建的主要内容，如果未能解决你的问题，请参考以下文章