1CM+CDH构建企业级大数据平台部署基础环境的安装

Posted 百里登风

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了1CM+CDH构建企业级大数据平台部署基础环境的安装相关的知识,希望对你有一定的参考价值。

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

一、台安装部署前各项准备

 

      1、安装centos7系统,这个我在vmware里面安装的,具体怎么装这里就不多讲了,我建议安装桌面版本的

 

 

 

 

    2、修改静态IP地址

       打开终端,首先我们配置动态IP,切换到root用户

      输入   vim  /etc/sysconfig/network-scripts/ifcfg-ens33 

      

 

 

 

   

 

 

 

然后保存退出,重启网卡,再检查我们的ip地址

 

 

 

测试一下网络没有问题

 

 

 

现在开始配置静态ip信息

 

 

 

 

TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static   //改成static表示要配置静态ip地址
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=c0b04a36-aabb-4c07-80f7-dcde097b92d5
DEVICE=ens33
ONBOOT=yes

PEERDNS=yes
PEERROUTES=yes
IPADDR=192.168.86.161  //配置你的静态ip地址
BCAST=192.168.86.255   //广播地址
GATEWAY=192.168.86.2   //网关
NETMASK=255.255.255.0   //子网掩码

DNS1=192.168.86.2  //网关,如果不配置可能导致不能连接外网
DNS2=8.8.8.8

 

 

 

 重启一下网卡

 

 

 

我们再次验证一下网络连接情况

 

 到这里静态ip地址就配置完成了。

 

我们通过远程终端连接上机器

首先我们配置主机映射,在window下的操作

 

 

 

我这里比较推荐大家使用这个工具实施远程连接

 

 

 

 

 

然后在linux下操作

vim /etc/hosts

 

 

 

 

 

 

 

3、关闭防火墙

systemctl stop firewalld.service  //临时停止防火墙

systemctl disable firewalld.service  //禁止防火墙开机启动

systemctl status firewalld.service   //查看防火墙状态

 

 

修改selinux

vim /etc/selinux/config

 

 

 

 修改完保存退出。

 

 

4、配置免密码登录

先下载openssh工具包

yum install -y openssh-clients

 

 

 

 

 

输入ssh-kengen -t rsa生产密钥

 

 

 

 

 

 

cp ./id_rsa.pub authorized_keys

 

 按照多台集群的免密码通信的流程,我们应该将 authorized_keys分发给其他节点上的,但是现在我们还没有安装其他节点,等后面我们安装了就分发过去

现在我们验证一下能不能ssh到自己本身

 

 

5、时钟同步

首先我们下载一个工具

yum install -y ntp

 

 

实现时钟同步

ntpdate pool.ntp.org

 

 

启动时钟同步器

 service ntpd start  //临时启动

 

 

设置永久启动,机器重启后生效

chkconfig ntpd on

 

 

 

6、部署本地yum源

下载httpd服务

yum install -y httpd

 

 

安装好httpd

 

 

启动httpd

service httpd start

 

 

 

打开浏览器访问地址   http://cdh01/cm-6.1.0/

 

 

安装yum工具

yum -y install yum-utils createrepo

 

 

 

createrepo /var/www/html/cm-6.1.0/

 

 

 

刷新页面

 

 

接下来我们创建一个自动的repo文件

 

 vim   myrepo.repo

 

 

[myrepo]
name=myrepo
baseur=http://192.168.86.161/cm-6.1.0
enabled=1
gpgcheck=0

 

以上是关于1CM+CDH构建企业级大数据平台部署基础环境的安装的主要内容,如果未能解决你的问题,请参考以下文章

大数据平台CDH6.3.2部署

CDH5.12.0 中扩容增加计算节点

大数据平台 CDH5.12.2 安装部署

CDH 平台集成 Apache Atlas

过往记忆大数据 USDP 实测搭建,可替代CDH的免费大数据套件平台

过往记忆大数据 USDP 实测搭建,可替代CDH的免费大数据套件平台