2-10 就业课(2.0)-oozie：1314clouderaManager的服务搭建

Posted 2022-04-15 mediocreworld

3、clouderaManager安装资源下载

第一步：下载安装资源并上传到服务器

 

我们这里安装CM5.14.0这个版本，需要下载以下这些资源，一共是四个文件即可

下载cm5的压缩包

下载地址：http://archive.cloudera.com/cm5/cm/5/

具体文件地址：

http://archive.cloudera.com/cm5/cm/5/cloudera-manager-el6-cm5.14.0_x86_64.tar.gz

 

 

下载cm5的parcel包

下载地址：

http://archive.cloudera.com/cdh5/parcels/

 

第一个文件具体下载地址：

http://archive.cloudera.com/cdh5/parcels/5.14.0/CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel

 

第二个文件具体下载地址：

http://archive.cloudera.com/cdh5/parcels/5.14.0/CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel.sha1

 

第三个文件具体下载地址：

http://archive.cloudera.com/cdh5/parcels/5.14.0/manifest.json

 

 

将这四个安装包都上传到第一台机器的/export/softwares路径下

 

 

第二步：解压压缩包到指定路径

解压CM安装包到/opt路径下去

cd /export/softwares

tar -zxvf cloudera-manager-el6-cm5.14.0_x86_64.tar.gz -C /opt/

第三步：将我们的parcel包的三个文件拷贝到对应路径

将我们的parcel包含三个文件，拷贝到/opt/cloudera/parcel-repo路径下面去，并记得有个文件需要重命名

cd /export/softwares/

cp CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel.sha1 manifest.json  /opt/cloudera/parcel-repo/

 

重命名标黄的这个文件

cd /opt/cloudera/parcel-repo/

mv CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel.sha1 CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel.sha

 

 

 

第四步：所有节点添加普通用户并给与sudo权限

在node01机器上面添加普通用户并赋予sudo权限

执行以下命令创建普通用户cloudera-scm

useradd --system --home=/opt/cm-5.14.0/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

 

 

 

 

赋予cloudera-scm普通用户的sudo权限

visudo

cloudera-scm ALL=(ALL) NOPASSWD: ALL

 

第五步：更改主节点的配置文件

node01机器上面更改配置文件

 

vim /opt/cm-5.14.0/etc/cloudera-scm-agent/config.ini

server_host=node01.hadoop.com

 

 

第六步：将/opt目录下的安装包发放到其他机器

将第一台机器的安装包发放到其他机器

cd /opt

scp -r cloudera/ cm-5.14.0/ node02.hadoop.com:/opt

 

第七步：创建一些数据库备用

node02机器上面创建数据库

hive 数据库

create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

 

集群监控数据库

create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

 

hue 数据库

create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

 

 

oozie 数据库

create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

 

 

 

第八步：准备数据库连接的驱动包

在所有机器上面都准备一份数据库的连接驱动jar包放到/usr/share/java路径下

准备一份mysql的驱动连接包，放到/usr/share/java路径下去

cd /export/softwares/

wget https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.45.tar.gz

tar -zxvf mysql-connector-java-5.1.45.tar.gz

cd /export/softwares/mysql-connector-java-5.1.45

cp mysql-connector-java-5.1.45-bin.jar /usr/share/java/mysql-connector-java.jar

拷贝驱动包到第二台机器

cd /usr/share/java

scp mysql-connector-java.jar node02.hadoop.com:$PWD

 

 

第九步：为clouderaManager创建数据库

node01服务器执行

/opt/cm-5.14.0/share/cmf/schema/scm_prepare_database.sh mysql -hnode02.hadoop.com  -uroot -p123456 --scm-host node01.hadoop.com scm root 123456

 

命令说明：/opt/cm-5.14.0/share/cmf/schema/scm_prepare_database.sh 数据库类型 -h数据库主机 –u数据库用户名 –p数据库密码 --scm-host cm主机  数据库名称  用户名  密码

 

 

 

 

第十步：启动服务

主节点启动clouderaManager Server与ClouderaManager  agent服务

/opt/cm-5.14.0/etc/init.d/cloudera-scm-server start

/opt/cm-5.14.0/etc/init.d/cloudera-scm-agent start

 

 

 

从节点node02启动ClouderaManager agent服务

/opt/cm-5.14.0/etc/init.d/cloudera-scm-agent start

 

 

 

第十一步：浏览器页面访问

http://node01:7180/cmf/login

 

默认用户名admin

密码 admin

===================================================

课程总结：
1、oozie的安装使用
oozie是什么：任务调度的框架，与azkaban的功能类似
oozie的安装：一步一步来不要调过 搞定
oozie的任务的执行workFlow：调度shell脚本，调度hive任务，调度mapreduce的任务 搞定
oozie的的多个任务的串联 ： 搞定
oozie的定时任务 搞定

hue与oozie的整合 搞定

2、HA的环境搭建 不用做 可以将伪分布模式的环境转换成完全分布式，不丢失hdfs的数据
3、ClouderaManager的环境安装 做不了