Cloudera CDH 6.3.3 三节点集群部署

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Cloudera CDH 6.3.3 三节点集群部署相关的知识,希望对你有一定的参考价值。

Cloudera CDH集群的部署实际上主要是Cloudera Manager的部署,在说的直白点儿那就是Cloudera Manager Server和本地YUM源的部署与搭建。

Cloudera CDH和Manager 6.3.3 及以后版本升级需要有效的cloudera enterprise或者cdp数据中心授权,这意味着Cloudera CDH和Manager免费社区版本将会停留在6.3.2版,一直以资金不足薅Cloudera羊毛的广大中小型企业要么强制自己的Hadoop生态应用兼容于CDH 6.3.2版及以下,要么及早转投完全开源且免费使用的 Apache Hadoop。
本文是Cloudera CDH 6.3.2版部署过程的回忆性记录:
一 OS环境
Host:Windows 7 旗舰版 SP1 64Bit
Hypervisor:VMware workstation 15 Pro
Board:CentOS 7 1804 Everything 64Bit
二 主机规划
2核心4线程
6GB Memory
50GB Disk
192.168.207.131 master0 cdh1.example.com
192.168.207.132 slave0 cdh2.example.com
192.168.207.133 slave1 cdh3.example.com
【注意:本次操作均在root账户下进行,如在生产环境中执行请先创建相应的用户和组】
三 安装JDK
Cloudera CDH可选用的JDK包括Oracle JDK、RedHat Open JDK、Zulu JDK、GraalVM CE JDK等,本次采用Cloudera CDH推荐的JDK:oracle-j2sdk1.8-1.8.0update181-1.x86_64.rpm。
JDK的OS环境变量配置如下:
【编辑/etc/profile添加】
#set java environment
JAVA_HOME=/usr/java/jdk1.8cloudera
JRE_HOME=$JAVA_HOME/jre
CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
export JAVA_HOME JRE_HOME CLASS_PATH PATH
四 在各节点配置SSH免密登录
执行 ssh-keygen -t rsa
4次回车后,分别执行
ssh-copy-id -i /root/.ssh/id_rsa.pub root@192.168.207.132

sh-copy-id -i /root/.ssh/id_rsa.pub root@192.168.207.133
并分别执行
ssh ‘root@192.168.207.132‘和ssh ‘root@192.168.207.133‘进行验证
五 关闭防火墙和SELinux
依次执行:
systemctl stop firewalld && systemctl disable firewalld
sed -i ‘s/^SELINUX=./SELINUX=disabled/‘ /etc/selinux/config && setenforce 0
Init 6
六 配置时间同步服务
可选用NTP或Chrony,我在虚拟机上配置的是和Microsoft的时间同步,如果在生产环境中部署请将至配置为与局域网内的时钟服务器同步。
七下载CDH 6.3.2 安装所需离线包
依次有:
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el6.parcel.sha256
Manifest.json
cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm
cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm
cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm
cloudera-manager-server-db-2-6.3.1-1466458.el7.x86_64.rpm
enterprise-debuginfo-6.3.1-1466458.el7.x86_64.rpm
mysql-connector-java-5.1.46.jar
ext-2.2.zip
八 安装并配置MySQL数据库系统
本次采用MySQL 5.7.27 ,安装路径为/usr/local/mysql。
九 安装并配置Web网络服务
本次采用 Apache HTTP 做网络服务,根目录为/var/www/html
十 搭建CDH安装的YUM源
依次下载:
https://archive.cloudera.com/cm6/6.3.1/redhat7/yum/RPM-GPG-KEY-cloudera
https://archive.cloudera.com/cm6/6.3.1/redhat7/yum/cloudera-manager.repo
https://archive.cloudera.com/cm6/6.3.1/allkeys.asc
https://archive.cloudera.com/cm6/6.3.1/cloudera-manager-installer.bin
https://archive.cloudera.com/cdh6/6.3.2/parcels/
https://archive.cloudera.com/gplextras6/6.3.2/parcels/
https://archive.cloudera.com/cm6/6.3.1/redhat7/
https://archive.cloudera.com/cm6/6.3.1/allkeys.asc
在HTTP服务下自建YUM目录,而后在YUM目录下执行:
yum repolist
yum -y install createrepo
createrepo .
将mysql-connector-java-5.1.46.jar重命名为mysql-connector-java.jar后上传到两个slave节点的驱动共享目录/usr/share/java/
编辑/etc/yum.repos.d/cloudera-manager.repo为大致如下内容:
[cloudera-manager]
name=Cloudera Manager 6.3.2
baseurl=http://192.168.207.139/cloudera-repos/cm6/6.3.1/redhat7/yum/
gpgkey=http://192.168.207.139/cloudera-repos/cm6/6.3.1/redhat7/yum/RPM-GPG-KEY-cloudera
gpgcheck=1
enabled=1
autorefresh=0
type=rpm-md
更新YUM源:
yum clean all
yum -y update
十一 安装 Cloudera Manager
在所有节点执行yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb postgresql
portmap mod_ssl openssl-devel python-psycopg2 MySQL-python

在CMServer(192.168.207.131)上执行:
yum install -y cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server
cd /opt/cloudera/parcel-repo/
wget http://192.168.207.139/cloudera-repos/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel
wget http://192.168.207.139/cloudera-repos/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1
wget http://192.168.207.139/cloudera-repos/cdh6/6.3.2/parcels/manifest.json
将manifest.json中对应版本的密钥复制到.sha文件中
chown cloudera-scm.cloudera-scm /opt/cloudera/parcel-repo/

使用/opt/cloudera/cm/schema/scm_prepare_database.sh完成数据库的初始化,使用前请确认脚本中的local JAVA8_HOME和本机上的JAVA_HOME一致。

在CMAgent(192.168.207.132和192.168.207.133)上执行:
yum install -y cloudera-manager-agent cloudera-manager-daemons
编辑/etc/cloudera-scm-agent/config.ini将Cloudera Manager Agent 配置为指向 Cloudera Manager Server:server_host=cdh1.example.com
十二 安装CDH及其他组件
在CMServer(192.168.207.131)上执行:
systemctl start cloudera-scm-server
systemctl status cloudera-scm-server
在浏览器上打开CMServer(192.168.207.131):
http://192.168.207.131:7180
用admin/admin登录Cloudera Manager进行安装所需要的组件。

孟伯,20200528

交流联系:微信 1807479153 ,QQ 1807479153

以上是关于Cloudera CDH 6.3.3 三节点集群部署的主要内容,如果未能解决你的问题,请参考以下文章

Cloudera CDH 6.3.3 三节点集群部署

Cloudera CDH 6.3.3 三节点集群部署

CDH4 将 Cloudera Manager 还原到现有集群

CDH集群添加节点服务器步骤

CDH大数据集群环境搭建

1000+节点的cdh集群主服务迁移全过程