CentOS7+Hadoop2.7.2(HA高可用+Federation联邦)+Hive1.2.1+Spark2.1.0 完全分布式集群安装
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了CentOS7+Hadoop2.7.2(HA高可用+Federation联邦)+Hive1.2.1+Spark2.1.0 完全分布式集群安装相关的知识，希望对你有一定的参考价值。
本文档主要记录了Hadoop+Hive+Spark集群安装过程，并且对NameNode与ResourceManager进行了HA高可用配置，以及对NameNode的横向扩展（Federation联邦）
1 VM网络配置
将子网IP设置为192.168.1.0：
将网关设置为192.168.1.2：
并禁止DHCP
当经过上面配置后，虚拟网卡8的IP会变成192.168.1.1：
（虚拟机与物理机不在一个网段是没有关系的）
2 CentOS配置
2.1 下载地址
http://mirrors.neusoft.edu.cn/centos/7/isos/x86_64/CentOS-7-x86_64-Minimal-1511.iso
下载不带桌面的最小安装版本
2.2 激活网卡
激活网卡，并设置相关IP：
网关与DNS设置为上面虚拟网卡8中设置的网关即可
2.3 SecureCRT
当网卡激活后，就可以使用SecureCRT终端远程连接Linux，这样方便后续操作。如何连接这里省略，
这里连接上后简单的进行下面设置：
2.4 修改主机名
/etc/sysconfig/network
/etc/hostname
/etc/hosts
192.168.1.11 node1
192.168.1.12 node2
192.168.1.13 node3
192.168.1.14 node4
2.5 yum代理上网
由于公司内部是代理上网，所以yum无法连网搜索软件包
yum代理的设置：vi /etc/yum.conf
再次运行yum，发现可以连网搜索软件包了：
2.6 安装ifconfig
2.7 wget安装与代理
安装好wget后，在/etc目录下就会产生wget配置文件wgetrc，在这里面可以配置wget代理：
[root@node1 ~]# vi /etc/wgetrc
http_proxy = http://10.19.110.55:8080
https_proxy = http://10.19.110.55:8080
ftp_proxy = http://10.19.110.55:8080
2.8 安装VMware Tools
为了虚拟机与主机时间同步，所以需要安装VMWare Tools
[root@node1 opt]# yum -y install perl
[root@node1 ~]# mount /dev/cdrom /mnt
[root@node1 ~]# tar -zxvf /mnt/VMwareTools-9.6.1-1378637.tar.gz -C /root
[root@node1 ~]# umount /dev/cdrom
[root@node1 ~]# /root/vmware-tools-distrib/vmware-install.pl
[root@node1 ~]# rm -rf /root/vmware-tools-distrib
注：下面文件共享与鼠标拖放功能不要安装，否则安装过程会出问题：
[root@node1 ~]# chkconfig --list | grep vmware
vmware-tools 0:关 1:关 2:开 3:开 4:开 5:开 6:关
vmware-tools-thinprint 0:关 1:关 2:开 3:开 4:开 5:开 6:关
[root@node1 ~]# chkconfig vmware-tools-thinprint off
[root@node1 ~]# find / -name *vmware-tools-thinprint* | xargs rm -rf
2.9 其他
2.9.1 问题
刚启动时会出以下错误提示：
修改虚拟机配置文件node1.vmx可以解决：
vcpu.hotadd = "FALSE"
mem.hotadd = "FALSE"
2.9.2 设置
2.9.2.1去掉开机等待时间
[root@node1 ~]# vim /etc/default/grub
GRUB_TIMEOUT=0 #默认为5秒
[root@node1 ~]# grub2-mkconfig -o /boot/grub2/grub.cfg
2.9.2.2VM调整
（注：小内存禁用）
修改node1.vmx文件：
mainMem.useNamedFile = "FALSE"
为了全屏显示，方便命令行输入，做以下调整：
并去掉状态栏显示：
2.9.3 命令
2.9.3.1关机与重启
[root@node1 ~]# reboot
[root@node1 ~]# shutdown -h now
2.9.3.2服务停止与禁用
#查看开机自启动服务
[root@node1 ~]# systemctl list-unit-files | grep enabled | sort
auditd.service enabled
crond.service enabled
dbus-org.freedesktop.NetworkManager.service enabled
dbus-org.freedesktop.nm-dispatcher.service enabled
default.target enabled
dm-event.socket enabled
getty@.service enabled
irqbalance.service enabled
lvm2-lvmetad.socket enabled
lvm2-lvmpolld.socket enabled
lvm2-monitor.service enabled
microcode.service enabled
multi-user.target enabled
NetworkManager-dispatcher.service enabled
NetworkManager.service enabled
postfix.service enabled
remote-fs.target enabled
rsyslog.service enabled
sshd.service enabled
systemd-readahead-collect.service enabled
systemd-readahead-drop.service enabled
systemd-readahead-replay.service enabled
tuned.service enabled
[root@node1 ~]# systemctl | grep running | sort
crond.service loaded active running Command Scheduler
dbus.service loaded active running D-Bus System Message Bus
dbus.socket loaded active running D-Bus System Message Bus Socket
getty@tty1.service loaded active running Getty on tty1
irqbalance.service loaded active running irqbalance daemon
lvm2-lvmetad.service loaded active running LVM2 metadata daemon
lvm2-lvmetad.socket loaded active running LVM2 metadata daemon socket
NetworkManager.service loaded active running Network Manager
polkit.service loaded active running Authorization Manager
postfix.service loaded active running Postfix Mail Transport Agent
rsyslog.service loaded active running System Logging Service
session-1.scope
loaded active running Sessi 以上是关于CentOS7+Hadoop2.7.2(HA高可用+Federation联邦)+Hive1.2.1+Spark2.1.0 完全分布式集群安装的主要内容，如果未能解决你的问题，请参考以下文章 对Hadoop2.7.2文档的学习-Yarn部分RM Restart/RM HA/Timeline Server/NM Restart Centos7+Mariadb+Keepalived实现Mariadb(MYSQL)的高可用(HA) Corosync+pacemaker+DRBD+mysql（mariadb）实现高可用（ha）的mysql集群（centos7）