CDH 社区版从 5.7 滚动升级到 5.13

Posted

技术标签:

【中文标题】CDH 社区版从 5.7 滚动升级到 5.13【英文标题】:CDH Community Edition Rolling Upgrade from 5.7 to 5.13 【发布时间】:2017-12-05 18:12:32 【问题描述】:

谁能告诉我如何将 CDH 从 5.7 滚动升级到 5.13?我在 Cloudera 文档中找不到太多关于 CDH 社区版滚动升级的信息?

编辑

根据下面的讨论,我可以手动停止、升级(通过“1 单击安装”)和启动节点进行升级。在像下面这样的集群中

    3 个 Hbase Master(1 个活动和 2 个备用) 4 个区域服务器 4 个数据节点 1 个主要名称节点和 1 个次要名称节点 3期刊节点 4 节点管理器 3 个资源管理器(1 个活动和 2 个备用)

组件的停止、升级和启动的顺序应该是什么?是不是像下面这样:-

    一一停止、升级和启动所有数据节点。 逐一停止、升级和启动区域服务器 停止、升级和启动 HBase 备用节点一一升级 停止、升级和启动辅助名称节点 升级主名称节点 升级日志节点 升级 HBase Master 一一停止、升级和启动备用资源管理器 停止、升级和启动活动资源管理器 一一停止、升级和启动节点管理器。

如果我不按照任何顺序并行更新节点中的服务,我是否会遇到任何问题(因为这只是一个小版本升级)?

如果我通过停止所有节点中的所有服务并升级然后启动来关闭整个集群?启动服务时我应该遵循什么顺序?

【问题讨论】:

至少开始阅读 5.8 文档。 cloudera.com/documentation/enterprise/5-8-x/topics/… 滚动升级文档在这里,它仅适用于企业许可证...cloudera.com/documentation/enterprise/5-8-x/topics/… 【参考方案1】:

我认为您必须手动执行此操作,因为您使用的是社区版。

滚动升级允许您升级集群软件和 重新启动升级的服务而不使集群脱机。 执行滚动升级需要以下内容:

CDH 是使用 Cloudera Manager 和 parcels 安装的。您可以将集群从使用包迁移到使用包裹。 集群使用 Cloudera Enterprise 许可证

upgrade overview page 有你需要的信息,但一般都跟在后面

    备份 Cloudera Manager 数据库 升级 Cloudera Manager 服务器 在所有主机上升级 Cloudera Manager 代理 升级 CDH 包裹 重新启动集群。尝试按服务执行此操作。例如,在启动 Hadoop 服务之前,确保所有 Cloudera 代理都健康。然后启动 namenode(s) 和 datanodes,然后是 resourcemanager(s) 等。

如果您不使用 Cloudera Manager,则必须执行命令行升级程序。

Before Upgrading to the Latest Release of CDH Upgrade CDH to latest

从您列出的那些中,您会在做任何事情之前停止所有服务。例如,如果 datanodes 和 namenodes 关闭,HBase 将无法工作。

构建一个依赖树,并从最依赖的服务中关闭它。意思是,HBase 关闭,然后是 YARN(一次一个资源管理器),然后是 HDFS(数据节点,然后是名称节点和日志节点)。然后升级并以相反的顺序启动它们。


那里的第二个链接显示此升级顺序

NameNode 进入安全模式 停止所有 Hadoop 服务 备份名称节点 下载一键安装包 升级 YARN(需要升级 Zookeeper) 升级 JournalNodes 启动 HDFS 服务 启动 YARN 升级其余组件

【讨论】:

我在使用社区版时如何在没有 Cloudera Manager 的情况下手动操作?有什么地方可以查看步骤吗?在 cloudera doc 中,我找不到手动升级步骤。 我的帖子中有一个链接...您仍然可以使用 Cloudera Manager 来管理包裹,是吗? 另外,您是如何开始安装 Cloudera Manager 的?程序没有太大不同。您下载新版本并进行设置。然后,您还需要升级代理才能与新经理进行通信。我确信 Cloudera 支持论坛是详细询问此信息的更好地方。 我没有安装 Cloudera Manager,因为它需要许可证。我刚刚手动安装了 CDH 组件。 它可能会在“启动 HDFS 服务”阶段离开安全模式,但您需要从 NameNode UI 仔细检查

以上是关于CDH 社区版从 5.7 滚动升级到 5.13的主要内容,如果未能解决你的问题,请参考以下文章

Cassandra SOLR 滚动升级

滚动升级Kafka时出错

滚动升级Kafka时出错

升级到 iPhone OS 4 后,我的 TableView 在调用 reloadData 后滚动到顶部

sh Oneliner更新系统到最新滚动:(1)更新,(2)升级(3)发布升级(4)清理(5)删除

技术分享 | 利用GreatSQL部署MGR集群,并完成添加新节点 滚动升级切主(超详细)...