如何修改CDH集群元数据库地址
Posted
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了如何修改CDH集群元数据库地址相关的知识,希望对你有一定的参考价值。
温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。
Fayson的github:
提示:代码块部分可以左右滑动查看噢
1.文档编写目的
在生产环境CDH集群中会遇到元数据库的迁移,迁移后数据库的IP地址发生变化或是元数据库做主备,在主节点挂掉后,我们需要将数据库CDH集群中的元数据库地址指向新的IP或备用元数据库。本篇文章Fayson主要介绍如何修改CDH集群元数据库IP地址。
- 内容概述
1.切换前准备
2.修改Cloudera Manager Server数据库
3.修改CMS和CDH集群各服务数据库地址
- 测试环境
1.CM5.14.3和CDH5.14.2
2.Redhat7.4
- 前置条件
1.CDH集群正常运行
2.CDSW集群已部署则正常运行
2.切换前准备
1.登录Cloudera Manger,停止CDH集群所有服务
2.停止Cloudera Management Service服务
3.登录CM所在服务器,停止cloudera-scm-server服务,命令如下:
[root@cdh01 ~]# systemctl stop cloudera-scm-server
[root@cdh01 ~]# netstat -apn |grep 7180
(可左右滑动)
4.停止CM和CDH集群后,如果是迁移数据库则可以对数据库进行迁移操作(如果只是主备切换则跳过此步)
将原MariaDB数据库数据导出
[root@cdh01 ~]# mysqldump -uroot -p --all-database > all.dump
Enter password:
(可左右滑动)
在新的数据库节点上,接导出的dump文件导入
[root@cdh02 ~]# mysql -uroot -p< all.dump
Enter password:
[root@cdh02 ~]# mysql -uroot -p
(可左右滑动)
3.修改CM数据地址
1.登录CM服务所在服务器,修改/etc/cloudera-scm-server/db.properties文件
[root@cdh01 ~]# vim /etc/cloudera-scm-server/db.properties
# Auto-generated by scm_prepare_database.sh on Fri Jun 8 01:48:49 CST 2018
#
# For information describing how to configure the Cloudera Manager Server
# to connect to databases, see the "Cloudera Manager Installation Guide."
#
com.cloudera.cmf.db.type=mysql
com.cloudera.cmf.db.host=cdh02.fayson.com
com.cloudera.cmf.db.name=cm
com.cloudera.cmf.db.user=cm
com.cloudera.cmf.db.setupType=EXTERNAL
com.cloudera.cmf.db.password=password
(可左右滑动)
2.重启cloudera-scm-server服务,命令如下
[root@cdh01 ~]# systemctl start cloudera-scm-server
[root@cdh01 ~]# netstat -apn |grep 7180
(可左右滑动)
3.登录Cloudera Manager控制界面
4.修改CMS服务数据库地址
1.登录Cloudera Manager管理界面,进入Cloudera Management Service服务的配置页面
2.在搜索栏搜索“数据库主机名”,将数据地址指向新的地址
3.保存配置并重启CMS服务
服务启动成功
5.修改CDH集群各服务元数据库地址
1.进入Hive配置界面,选择“Hive Metastore数据库”类别,搜索“数据库主机”,将数据库主机修改为新的IP或HOSTNAME
2.进入Hue配置界面,选择“数据库”类别,修改数据库主机名称为cdh02.fayson.com
3.进入Oozie配置界面,选择“数据库”类别,修改数据库主机名为cdh02.fayson.com
4.进入Sentry配置界面,选择“Sentry Server数据库”类别,修改数据库主机为cdh02.fayson.com
5.完成以上配置后,回到CM主页重启CDH集群
集群启动成功
6.总结
1.涉及到修改数据的服务有Cloudera Manager、Cloudera Management Service、Hive、Hue、Sentry、Oozie等服务。
2.在修改的过程中,我们可以只停止上述涉及到的服务,这样可以确保集群的HDFS、HBase、Yarn、Zookeeper、Kafka、Spark等服务是可用的,如果有服务依赖上述的需要修改的服务则也需要停止。
提示:代码块部分可以左右滑动查看噢
为天地立心,为生民立命,为往圣继绝学,为万世开太平。
温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。
推荐关注Hadoop实操,第一时间,分享更多Hadoop干货,欢迎转发和分享。
原创文章,欢迎转载,转载请注明:转载自微信公众号Hadoop实操
以上是关于如何修改CDH集群元数据库地址的主要内容,如果未能解决你的问题,请参考以下文章