(赵强老师原创)搭建CDH实验环境,三个节点的安装配置

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了(赵强老师原创)搭建CDH实验环境,三个节点的安装配置相关的知识,希望对你有一定的参考价值。

赵强老师简介

-------------------------------------------------------

清华大学软件工程专业毕业。现就职于Oracle(中国)有限公司高级技术顾问,在Oracle公司服务已超过10年。业界知名的Oracle数据库专家和大数据专家,精通Oracle数据库、大数据、Weblogic中间件和Java技术。同时,受聘于多家知名IT培训机构,线下培训的学员已超过万人。


赵强老师在线视频课程主页

http://edu.51cto.com/lecturer/2788082.html 

------------------------------------------------------

(一)实验环境

实验介质

CentOS-7-x86_64-Everything-1708.iso

jdk-8u161-linux-x64.rpm

cloudera-manager-centos7-cm5.12.1_x86_64.tar.gz

CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel

CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha1

manifest.json

 

准备三台CentOS虚拟机,三个节点:一个Cloudera Manager节点、两个Agent节点

   安装如下:

CDH71Server GUIDevelopment ToolsMariaDB

CDH72CDH73Server GUIDevelopment Tools

(二)安装配置CentOS(每台机器)

注意把下面的两个选项选上

Server With GUI

Development Tools

MariaDB Server(就是mysql数据库):注意只在cdh71上安装

技术分享图片

关闭防火墙

systemctl stop firewalld.service

systemctl disable firewalld.service

 

配置主机名:编辑/etc/hosts文件

配置免密码登录

配置ntp服务

创建目录:mkdir /root/cdroom/

挂载光盘:mount /dev/cdrom /root/cdroom/

删除原来的所有repo文件

创建yum的源文件: vi /etc/yum.repos.d/my.repo

[centos-yum]

baseurl=file:///root/cdroom

enabled=1

gpgcheck=0

开启NTP服务

yum install ntp

systemctl is-enabled ntpd

systemctl enable ntpd

systemctl start ntpd

yum -y install psmisc   ---> 安装pstree命令


(三)安装JDK(每台机器)

一定注意,这一步跟之前不一样!!!

卸载系统原有的Java环境

第一步:使用下面的命令查看当前所有的Java环境的安装包

rpm -qa | grep java

第二步:使用下面的命令删除所有的Java安装包

rpm -e --nodeps 包名

 

安装新的JDK环境

jdk-8u161-linux-x64.rpm上传到/opt目录

安装JDKrpm -ivh jdk-8u161-linux-x64.rpm  

执行下面的命令,设置环境变量:

echo "JAVA_HOME=/usr/java/latest/" >> /etc/environment

 

验证JDK环境

技术分享图片

(四)配置MariaDB(在cdh71上)

启动MariaDB

        systemctl start mariadb

        systemctl enable mariadb (开机自启动)

 

配置MariaDB

mysql_secure_installation

#首先是设置密码,会提示先输入密码

Enter current password for root (enter for none):<–初次运行直接回车

#设置密码

Set root password? [Y/n] <–是否设置root用户密码,输入y并回车或直接回车

New password: <– 设置root用户的密码

Re-enter new password: <– 再输入一次你设置的密码

#其他配置

Remove anonymous users? [Y/n] <– 是否删除匿名用户,回车

Disallow root login remotely? [Y/n] <–是否禁止root远程登录,回车,

Remove test database and access to it? [Y/n] <– 是否删除test数据库,回车

Reload privilege tables now? [Y/n] <– 是否重新加载权限表,回车

 

初始化MariaDB

登录数据库:mysql -uroot -pWelcome_1

create database hive;

create database amon;  ---> 这个是CDHactivity monitor

create database oozie;

create database hue;

 

安装数据库驱动

yum install mysql-connector-java

(五)安装配置Clouder Manager(在cdh71上)

cloudera-manager-centos7-cm5.12.1_x86_64.tar.gz上传至/opt目录,并解压

tar -zxvf cloudera-manager-centos7-cm5.12.1_x86_64.tar.gz

 

mysql的驱动放到/opt/cm-5.12.1/share/cmf/lib/

cp /usr/share/java/mysql-connector-java.jar /opt/cm-5.12.1/share/cmf/lib/

 

初始化Cloudera Manager的数据库元信息

/opt/cm-5.12.1/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -pWelcome_1 --scm-host localhost scm scm scm

 

创建cloudera-scm用户

useradd --system --home=/opt/cm-5.12.1/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

 

将以下文件上传至/opt/cloudera/parcel-repo/目录

CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel

CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha1

manifest.json

 

重命名文件CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha1

改名为:CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha 注意:少了一个1

 

修改/opt/cm-5.12.1/etc/cloudera-scm-agent/config.ini中的server_host为主节点的主机名。


(六)配置Cloudera  Agentcdh72cdh73

从主节点cdh71上将Cloudera Manager Agent复制到agent节点(cdh72cdh73)上

        scp -r /opt/cm-5.12.1 [email protected]:/opt/

        scp -r /opt/cm-5.12.1 [email protected]:/opt/

  

agent节点(cdh72cdh73)上创建cloudera-scm用户

useradd --system --home=/opt/cm-5.12.1/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

(七)部署CDH5

cdh71启动服务Cloudera Manager Server

    /opt/cm-5.12.1/etc/init.d/cloudera-scm-server start

 

cdh72cdh73上启动的agent

           /opt/cm-5.12.1/etc/init.d/cloudera-scm-agent start

 

访问cdh71上的Cloudera Manager

端口:7180http://192.168.247.71:7180/cmf/login

技术分享图片

                                用户名密码:admin/admin

接受用户条款

选择60天试用版

点击“继续”

CDH群集安装指定主机(选择cdh72cdh73

技术分享图片

选择存储库(注意:要删除默认的远程库。如果之前没有做这一步,会有错误。需要重新安装

技术分享图片

将存储库部署到主机

技术分享图片


检查主机正确性

技术分享图片

        在cdh72cdh73,执行下面的语句,并“重新运行”

    echo 10 > /proc/sys/vm/swappiness

    echo never > /sys/kernel/mm/transparent_hugepage/defrag

    echo never > /sys/kernel/mm/transparent_hugepage/enabled

选择您要在群集上安装的 CDH 5 服务。(以HDFS为例)

                            步骤省略......(因为这一步很简单)

                             注意:需要在cdh71上创建report数据库,如下:

                             create database report;

                             create user 'reportmanager'@'%' identified by 'Welcome_1';

                             grant all on report.* TO 'reportmanager'@'%';

                            grant all on report.* TO 'reportmanager'@'localhost' identified by 'Welcome_1';

部署成功

技术分享图片

Cloudera Manager首页

技术分享图片


检查每台机器上的Java后台进程

技术分享图片

以上是关于(赵强老师原创)搭建CDH实验环境,三个节点的安装配置的主要内容,如果未能解决你的问题,请参考以下文章

CDH6.2.0搭建步骤

CDH6.2.0搭建步骤

CDH6.2.0搭建步骤

CDH6.2.0搭建步骤

CDH:cdh5环境搭建

赵强老师:免费实战微课系列课程