CDH6.2.0搭建步骤

Posted 2021-06-10 "Hello World".

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了CDH6.2.0搭建步骤相关的知识，希望对你有一定的参考价值。

文章目录

一、前期环境
二、hosts配置+ssh免密登录
三、关闭SELINUX
四、JDK安装
五、下载第三方依赖包
六、安装MySql
七、CM安装部署

一、前期环境

VMware、Centos7,三个以上节点（这里用了三个节点：Hadoop1,Hadoop2,Hadoop3）

二、hosts配置+ssh免密登录

参考前期文章：https://blog.csdn.net/weixin_44264185/article/details/116913793
之后的所有操作在root用户下进行

三、关闭SELINUX

临时关闭

setenforce 0

修改配置文件/etc/selinux/config（重启生效）
将SELINUX=enforcing 改为SELINUX=disabled

cd /etc/selinux/
vi config

在这里插入图片描述

四、JDK安装

参考前期文章：https://blog.csdn.net/weixin_44264185/article/details/116747551?spm=1001.2014.3001.5502

五、下载第三方依赖包

三个节点都执行下面命令，可以用xcall脚本，同时使三个节点执行相同命令，xcall脚本参考：https://blog.csdn.net/weixin_44264185/article/details/116884065
不用xcall脚本也行，分别在三个节点执行下面命令

yum -y install bind-utils
yum -y install chkconfig
yum -y install cyrus-sasl-gssapi
yum -y install cyrus-sasl-plain
yum -y install fuse
yum -y install fuse-libs
yum -y install gcc
yum -y install libxslt
yum -y install mod_ssl
yum -y install mysql-python
yum -y install openssl
yum -y install openssl-devel
yum -y install perl
yum -y install portmap
yum -y install postgresql-server
yum -y install psmisc
yum -y install python-devel
yum -y install python-psycopg2
yum -y install python-setuptools
yum -y install sed
yum -y install sqlite
yum -y install swig
yum -y install zlib

六、安装MySql

在一个节点安装即可，这里我选择了第一个节点（Hadoop1）
mysql安装参考：https://blog.csdn.net/weixin_44264185/article/details/116890959?spm=1001.2014.3001.5501

安装上述步骤安装好mysql后，创建以下数据库：

create database cmf default character set = 'utf8';
 
create database amon default character set = 'utf8';
 
create database hue default character set = 'utf8';
 
create database oozie default character set = 'utf8';
 
create database lyz default character set = 'utf8';

在这里插入图片描述
将将 mysql-connector-java-5.1.39.jar 上传到 /usr/share/java 目录下
mysql-connector-java-5.1.39.jar 下载：（包含多个版本）https://download.csdn.net/download/weixin_44264185/18662291?spm=1001.2014.3001.5503

修改jar包名字
mv mysql-connector-java-5.1.39.jar mysql-connector-java.jar
在这里插入图片描述

七、CM安装部署

组件：
在这里插入图片描述
上传到Hadoop1的/opt/software/，然后再分发到其他节点，如果没有分发脚本，单独上传也可以，分发脚本参考：https://blog.csdn.net/weixin_44264185/article/details/116883174?spm=1001.2014.3001.5501

下面是分发到其他节点，可以不用执行，单独上传。

xsync software/

在这里插入图片描述
三个节点分别安装daemons和agent

 yum localinstall -y cloudera-manager-daemons-6.2.0-968826.el7.x86_64.rpm 
 yum localinstall -y cloudera-manager-agent-6.2.0-968826.el7.x86_64.rpm

如果有xcall脚本，可以直接在Hadoop1的/opt/software下执行下面命令：

 xcall yum localinstall -y cloudera-manager-daemons-6.2.0-968826.el7.x86_64.rpm 
 xcall yum localinstall -y cloudera-manager-agent-6.2.0-968826.el7.x86_64.rpm

在这里插入图片描述

Hadoop1节点安装server

 yum localinstall -y cloudera-manager-server-6.2.0-968826.el7.x86_64.rpm

在这里插入图片描述

安装CDH6.2.0
需要安装包

上传到Hadoop1 节点的/opt/software/下

CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel.sha1名字修改为CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel.sha

mv CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel.sha1 CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel.sha

在这里插入图片描述
全部上传之后，将不同的资源移动到对应的目录下

mv CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel* /opt/cloudera/parcel-repo/

mv PHOENIX-5.0.0-cdh6.2.0.p0.1308267-el7.parcel* /opt/cloudera/parcel-repo/

mv manifest.json /opt/cloudera/parcel-repo/

mv PHOENIX-1.0.jar /opt/cloudera/csd/

在这里插入图片描述
修改server配置文件,Hadoop1节点执行

cd /etc/cloudera-scm-server/
vi db.properties

在这里插入图片描述

在这里插入图片描述
修改agent配置文件，所有节点执行

cd /etc/cloudera-scm-agent/
vi config.ini

在这里插入图片描述

启动CM，开始安装CDH集群
在Hadoop1 上启动server

 systemctl start cloudera-scm-server

另开一个窗口，查看相关日志

 tail -200f /var/log/cloudera-scm-server/cloudera-scm-server.log

在全部节点上启动agent

 systemctl start cloudera-scm-agent

当在 Hadoop1上 netstat ‐tunlp | grep 7180 有内容时，说明我们可以访问web页面了
浏览器访问：Hadoop1:7180，或ip:7180,会出现下面界面，默认用户名和密码都是admin
在这里插入图片描述

下面可以选择所有服务，也可以自定义服务，这里选择了所有服务

下面的什么都不用改，直接继续

至此，CDH6.2.0搭建完成
参考链接：https://blog.csdn.net/weixin_38201936/article/details/106006335