CentOS7安装CDH 第十一章：离线升级CDH版本

Posted 2021-11-30 yangshibiao

相关文章链接

 

1. 升级概述

1、CM（cloudera manager）升级概述：

　　CM的安装是使用rpm包的安装，详情请看上述CM的安装，所以升级的时候也是rpm包的升级即可。

2、CDH升级概述：

　　CDH的安装是使用离线的Parcel包安装的，所以也使用Parcel来升级，需要先将Parcel包离线下载下来。

2. 升级中需要注意的地方

1．在生产环境中升级一定要注意记得备份数据库和HDFS。

2．当对python进行升级时候会发现yum源不能使用，可以进行如下操作：

　　a) 当对python升级之后，是因为没有一个模块module，所以导致yum不能使用（即当前python里找不到yum源模块），此时可以将python重新指向升级之前的文件，就可以使用了。

　　b) 具体操作如下：

　　　　

　　　　修改如下位置：

　　　　

　　　　执行清理yun源的操作就可以正常使用了：yum clean all

3．在升级过程中，有可能遇到文件没有下载失败（即在下载、分配那一个界面失败）的情况，如下图所示，此时可以采取如下操作（以升级CDH5.16为例）：

　　

　　a) 找到对应机器，执行如下命令，进入到相应的文件夹中，再查看该目录下的所有文件（包括隐藏文件），可以看到一个.flood文件夹，这是下载和解压所用的文件夹，根据具体情况对其中的CDH5.16的包进行删除：

　　　　cd /opt/cloudera/parcels

　　　　ll -a

　　

　　b) 执行如下命令，要保证磁盘空间充足，在对CDH5.16进行升级时，磁盘至少需要7G以上的空间，不然会失败，有如下异常，以后根据CDH的版本更新，有可能需要的空间更多（这方面可以询问运维）：

　　　　异常：Src file /opt/cloudera/parcels/.flood/CDH-5.11.0-1.cdh5.11.0.p0.34-el6.parcel/CDH-5.11.0-1.cdh5.11.0.p0.34-el6.parcel does not exist

　　　　查看磁盘的命令：df -h

　　c) 可以查找flood进程，然后kill掉，重启agent服务，去web界面安装：

　　　　ps -ef | grep flood

　　　　kill -9 进程号（可以直接使用如下命令解决：kill -9 $(pgrep -f flood)）

　　　　service cloudera-scm-agent restart

　　d) 查看日志方式：

　　　　cd /var/log/cloudera-scm-agent/

　　　　tail -f cloudera-scm-agent.log

　　　　也可以先清空日志（echo "" > xxx.log），然后运行服务，看报什么错，

　　　　再直接使用sz命令，将日志发送到windows中进行查看

3. CM（cloudera manager）升级

1．下载cm的tar包和CDH的parcels包，并将这些包上传到/var/www/html目录下，此过程可以参考上述CDH离线安装中的过程，完成之后能在浏览器上看到如下界面：

　　

2．检查 /etc/yum.repos.d/cloudera-manager.repo 中的yum源是否设置正确，如果其中最后是5，就不需要修改，因为在解压的cm包中有软连接，如下图：

　　

　　　

　　请注意：上述的yum源，是所有机器都要检查，都要一致，保证其它机器能从cm机器上下载到CM的安装包。

　　此时将parcels的地址配置到CDH的Parcel配置中，会出现如下错误：

　　　　

　　这时需要先将CM升级之后，才能升级CDH，直接去升级CM就可以了。

3．关闭CDH集群中各个服务和CM服务

　　

4．关闭集群中各个机器的server和agent服务和数据库服务

　　# 停止服务命令

　　service cloudera-scm-agent stop

　　service cloudera-scm-server stop

　　service mysqld stop（由于本集群是使用mysql数据库，所以关闭mysql）

　　# 数据库备份命令，以下以cmf数据库为例，其它数据库也要备份

　　mysqldump -uroot -p123456 cmf > /tmp/cmf20171015.sql

　　mysql -uroot -p  cmf < /tmp/cmf20171015.sql

5．升级cm机器的server+agent

　　[[email protected] ~]# yum clean all

　　[[email protected] ~]# rpm -qa ‘cloudera-manager-*‘

　　[[email protected] ~]# yum upgrade ‘cloudera-*‘

　　[[email protected] ~]# rpm -qa ‘cloudera-manager-*‘

6．升级集群其他机器的agent

　　[[email protected] ~]# yum clean all

　　[[email protected] ~]# rpm -qa ‘cloudera-manager-*‘

　　[[email protected] ~]# yum upgrade ‘cloudera-*‘

　　[[email protected] ~]# rpm -qa ‘cloudera-manager-*‘

7．启动集群机器的 db,server,agent

　　service mysqld start

　　service cloudera-scm-agent start

　　service cloudera-scm-server start

8．登录web的7180界面，进行CM服务的启动操作：

　　登录页面之后发现如下页面显示，点击运行Host Inspector进行主机检查，检查之后点击显示检查结果，会发现有大页面的提示，此时参照上述CDH安装章节的大页面解决方案，解决完大页面。

　　

　　解决大页面之后发现如下界面，点击启动CM的服务：

　　

　　启动CM服务之后会进入升级向导界面，依次点击下一步即可：

　　

9．CM升级成功：

　　

4. CDH集群升级

1、检查Parcel中的本地url是否配置好：

　　

2、在CDH的主界面的Cluster上点击升级集群按钮：

　　

3、选择已配置好的离线Parcel的版本，并进行主机检查（主机检查可能会有大页面和swap等警告，可以参照上述CDH安装章节处理或百度），然后勾选已执行上述的复选框，再点击继续按钮：

　　

　　

4、会进行下载，分配和解压等操作，等执行完点击继续按钮：

　　

5、选择完整集群重启升级，但此操作会重启集群上所有服务：

　　

6、会对集群上的所有服务进行安装和启动：

　　

7、升级成功：

　　

8、在升级CDH之后有可能出现oozie的内部版本和共享库版本不匹配，此时可以在oozie服务上重新安装共享版本，如下所示：

　　

　　停止oozie服务：

　　

　　安装oozie共享库：

　　

　　重新启动oozie：