Hadoop.2.x_集群初建
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Hadoop.2.x_集群初建相关的知识，希望对你有一定的参考价值。
一、部分概念
1. 分布式:一个项目分为多个模块共同完成一个或多个任务,可部署在一个或多个机器 2. 集群:多个机器运行同一个项目或服务 3. 集群上可能运行着零个或多个分布式系统(比如Hadoop,Zookeeper...) 分布式系统可能运行或不运行在集群上
二、简单搭建Hadoop分布式集群(分布式指的是Hadoop,集群指在多台1节点运行一个Hadoop系统)
1. 做好规划:
1> 需要哪些服务要先想好,因为配置文件后会分发到其他节点,避免重复修改配置
比如:我将要运行的服务有hdfs,yarn,mapreduce,secondaryserver,jobhistoryserver
2> 做好节点服务分布
hostname hadoop09-linux-01.ibeifeng.com hadoop09-linux-02.ibeifeng.com hadoop09-linux-03.ibeifeng.com
ip 192.168.0.108 192.168.0.109 192.168.0.110
服务与插件 namenode,histroyserver resourcemanager,nodemanager secondarynamenode,nodemanager
datanode,nodemanager datanode datanode
2. 准备三台节点,这里使用VMware克隆出两台,简单搭建一个三台节点的Hadoop集群
部分细节:
1> 克隆系统使用完全克隆
2> 分别启动各个节点
3> 配置各自的IP(Mac地址),hostname(注意选择好网络连接方式:桥接/nat)
a.Mac地址修改 [[email protected] ~]$ sudo vim /etc/udev/rules.d/70-persistent-net.rules # 删除上面的PCI device,并复制下面PCI device的ATTR{address}值(这个值就是新的Mac地址) [[email protected] ~]$ vim /etc/sysconfig/network-scripts/ifcfg-eth0 # 将新的Mac地址替换上去,并修改相应IP # PS:若是修改了虚拟机网络连接方式还要配置相应DNS1（可以设置为8.8.8.8） # 修改完毕后重启网络设置并测试 [[email protected] ~]$ sudo service network restart [[email protected] ~]$ ping www.baidu.com b.Hostname修改 [[email protected] ~]$ sudo vim /etc/hosts 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6 10.0.0.108 hadoop09-linux-01.ibeifeng.com 10.0.0.109 hadoop09-linux-02.ibeifeng.com 10.0.0.110 hadoop09-linux-03.ibeifeng.com [[email protected] ~]$ cat /etc/sysconfig/network NETWORKING=yes HOSTNAME=hadoop09-linux-01.ibeifeng.com # 测试一下: [[email protected] ~]$ ping hadoop09-linux-02.ibeifeng.com c.删除用户目录下.ssh目录下所有文件(用于重新配置无秘钥),配置完毕分发公钥到其他节点 [[email protected] ~]$ ssh-keygen -t rsa [[email protected] ~]$ ssh-copy-id 10.0.0.108 hadoop09-linux-01.ibeifeng.com
4> 将Hadoop上传至自定义文件夹,并修改其中的自定配置文件,删除share目录下的doc目录
5> 分发Hadoop文件夹到其他相应目录(目录结构与自定义的目录接口一致)
[[email protected] hadoop-2.5.0]$ scp -r etc/hadoop/ [email protected]:xx/
6> 检查分发后的Hadoop文件夹权限
使用chown [用户组]:[用户组] 文件名 -R 递归修改
7> 格式化hdfs
[[email protected] hadoop-2.5.0]$ bin/hdfs namenode -format
8> 启动
[[email protected] hadoop-2.5.0]$ sbin/start-dfs.sh [[email protected] hadoop-2.5.0]$ sbin/start-yarn.sh [[email protected] hadoop-2.5.0]$ sbin/hadoop-daemon.sh start historyserver
9> jps分别查看
[[email protected] hadoop-2.5.0]$ jps 2987 DataNode 6306 Jps 2894 NodeManager 2826 NameNode 3333 JobHistoryServer #=========================================== [[email protected] ~]$ jps 2598 ResourceManager 3961 Jps 2751 DataNode 2693 NodeManager #=========================================== [[email protected] ~]$ jps 2674 SecondaryNameNode 4129 Jps 2558 NodeManager 2606 DataNode
10> 打开web网页分别查看datanode节点和nodemanager节点
11> have a nice job!
以上是关于Hadoop.2.x_集群初建的主要内容，如果未能解决你的问题，请参考以下文章