如何修改CDH集群元数据库地址

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了如何修改CDH集群元数据库地址相关的知识,希望对你有一定的参考价值。

温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。


Fayson的github:

​https://github.com/fayson/cdhproject​


提示:代码块部分可以左右滑动查看噢


1.文档编写目的



在生产环境CDH集群中会遇到元数据库的迁移,迁移后数据库的IP地址发生变化或是元数据库做主备,在主节点挂掉后,我们需要将数据库CDH集群中的元数据库地址指向新的IP或备用元数据库。本篇文章Fayson主要介绍如何修改CDH集群元数据库IP地址。


  • 内容概述

1.切换前准备

2.修改Cloudera Manager Server数据库

3.修改CMS和CDH集群各服务数据库地址


  • 测试环境

1.CM5.14.3和CDH5.14.2

2.Redhat7.4


  • 前置条件

1.CDH集群正常运行

2.CDSW集群已部署则正常运行


2.切换前准备



1.登录Cloudera Manger,停止CDH集群所有服务


如何修改CDH集群元数据库地址_数据库

如何修改CDH集群元数据库地址_元数据库_02


2.停止Cloudera Management Service服务


如何修改CDH集群元数据库地址_cloudera_03

如何修改CDH集群元数据库地址_数据库_04


3.登录CM所在服务器,停止cloudera-scm-server服务,命令如下:


[root@cdh01 ~]# systemctl stop cloudera-scm-server
[root@cdh01 ~]# netstat -apn |grep 7180

(可左右滑动)


如何修改CDH集群元数据库地址_cloudera_05


4.停止CM和CDH集群后,如果是迁移数据库则可以对数据库进行迁移操作(如果只是主备切换则跳过此步)

将原MariaDB数据库数据导出


[root@cdh01 ~]# mysqldump -uroot -p --all-database > all.dump
Enter password:

(可左右滑动)


如何修改CDH集群元数据库地址_cloudera_06


在新的数据库节点上,接导出的dump文件导入


[root@cdh02 ~]# mysql -uroot -p< all.dump 
Enter password:
[root@cdh02 ~]# mysql -uroot -p

(可左右滑动)


如何修改CDH集群元数据库地址_数据库_07


3.修改CM数据地址



1.登录CM服务所在服务器,修改/etc/cloudera-scm-server/db.properties文件


[root@cdh01 ~]# vim /etc/cloudera-scm-server/db.properties         
# Auto-generated by scm_prepare_database.sh on Fri Jun 8 01:48:49 CST 2018
#
# For information describing how to configure the Cloudera Manager Server
# to connect to databases, see the "Cloudera Manager Installation Guide."
#
com.cloudera.cmf.db.type=mysql
com.cloudera.cmf.db.host=cdh02.fayson.com
com.cloudera.cmf.db.name=cm
com.cloudera.cmf.db.user=cm
com.cloudera.cmf.db.setupType=EXTERNAL
com.cloudera.cmf.db.password=password

(可左右滑动)


如何修改CDH集群元数据库地址_cloudera_08


2.重启cloudera-scm-server服务,命令如下


[root@cdh01 ~]# systemctl start cloudera-scm-server
[root@cdh01 ~]# netstat -apn |grep 7180

(可左右滑动)


如何修改CDH集群元数据库地址_元数据库_09


3.登录Cloudera Manager控制界面


如何修改CDH集群元数据库地址_数据库_10


4.修改CMS服务数据库地址



1.登录Cloudera Manager管理界面,进入Cloudera Management Service服务的配置页面


如何修改CDH集群元数据库地址_元数据库_11


2.在搜索栏搜索“数据库主机名”,将数据地址指向新的地址


如何修改CDH集群元数据库地址_元数据库_12


3.保存配置并重启CMS服务


如何修改CDH集群元数据库地址_数据库_13


服务启动成功


如何修改CDH集群元数据库地址_cloudera_14


5.修改CDH集群各服务元数据库地址



1.进入Hive配置界面,选择“Hive Metastore数据库”类别,搜索“数据库主机”,将数据库主机修改为新的IP或HOSTNAME


如何修改CDH集群元数据库地址_数据库_15


2.进入Hue配置界面,选择“数据库”类别,修改数据库主机名称为cdh02.fayson.com


如何修改CDH集群元数据库地址_数据库_16


3.进入Oozie配置界面,选择“数据库”类别,修改数据库主机名为cdh02.fayson.com


如何修改CDH集群元数据库地址_元数据库_17


4.进入Sentry配置界面,选择“Sentry Server数据库”类别,修改数据库主机为cdh02.fayson.com

如何修改CDH集群元数据库地址_元数据库_18



5.完成以上配置后,回到CM主页重启CDH集群


如何修改CDH集群元数据库地址_cloudera_19


集群启动成功


如何修改CDH集群元数据库地址_元数据库_20


6.总结


1.涉及到修改数据的服务有Cloudera Manager、Cloudera Management Service、Hive、Hue、Sentry、Oozie等服务。


2.在修改的过程中,我们可以只停止上述涉及到的服务,这样可以确保集群的HDFS、HBase、Yarn、Zookeeper、Kafka、Spark等服务是可用的,如果有服务依赖上述的需要修改的服务则也需要停止。


提示:代码块部分可以左右滑动查看噢


为天地立心,为生民立命,为往圣继绝学,为万世开太平。

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。



推荐关注Hadoop实操,第一时间,分享更多Hadoop干货,欢迎转发和分享。

如何修改CDH集群元数据库地址_数据库_21

原创文章,欢迎转载,转载请注明:转载自微信公众号Hadoop实操


以上是关于如何修改CDH集群元数据库地址的主要内容,如果未能解决你的问题,请参考以下文章

原CDH或HDP集群到达最新版本CDP的三条路径

修改cdh6.3.2集群内部弱口令步骤

在 CDH 集群之间复制 parquet 表

Hive跨集群和版本迁移

修改cdh5集群中主机节点IP或hostName

修改端口(CDH)cloudera manager默认端口7180