hadoop_hive_zookeeper_kafka_spark平台搭建

Posted 2020-09-27

1. 搭建linux集群

一般在学习测试阶段最小的节点数是3个节点，因此在虚拟机中安装3个节点。我使用的虚拟机环境是VMware10，linux系统是64位 Centos 6.5 minimal版本。对于安装linux系统的过程就不在赘述了，网上有很多。安装好linux后，需要做好3件事：

1. 修改主机名： 在/etc/sysconfig/network文件中修改
2. 配置静态IP：
   
3. 配置主机名和IP地址的映射关系
4. 关闭防火墙
      
5. 关闭Selinux

安装好一个节点后，可以通过完全克隆的方式生成其他两个节点，在这里着重叙述下新克隆出的节点如何修改IP地址的方法。

最后设置3个节点之间的无密钥登录，即ssh无密钥登录

2. 安装hadoop集群