CentOS 7下Cloudera Manager及CDH 6.0.1安装过程详解

Posted 2021-01-22

一、概念介绍

1、CDH 概览

CDH是Apache Hadoop和相关项目的最完整、最受测试和最流行的发行版。CDH提供Hadoop的核心元素-可伸缩存储和分布式计算-以及基于web的用户界面和重要的企业功能。CDH是Apache许可的开放源码，是唯一提供统一批处理、交互式SQL和交互式搜索以及基于角色的访问控制的Hadoop解决方案。

CDH 提供以下特性：

• 灵活性：存储任何类型的数据并使用各种不同的计算框架进行操作，包括批处理、交互式SQL、免费文本搜索、机器学习和统计计算。
• 集成：在一个完整的Hadoop平台上快速启动和运行，该平台与广泛的硬件和软件解决方案一起工作。
• 安全：处理和控制敏感数据。
• 可伸缩性：启用广泛的应用程序和规模，并扩展它们以满足您的需求。
• 高可用性：满怀信心地执行任务关键的业务任务。
• 兼容性：利用您现有的IT基础设施和投资。

CDH 组件如下图：

2、Cloudera Manager 概览

Cloudera Manager 是用于管理cdh集群的端到端应用程序。Cloudera Manager通过向CDH集群的每个部分提供细粒度的可见性并对其进行控制来设置企业部署标准-授权运营商提高性能、提高服务质量、提高遵从性和降低管理成本。使用Cloudera Manager，您可以轻松地部署和集中操作完整的CDH堆栈和其他托管服务。应用程序自动化安装过程，将部署时间从数周减少到分钟；为您提供在集群范围内运行主机和服务的实时视图；提供一个单一的中央控制台来执行整个集群的配置更改；并集成各种报告和诊断工具，以帮助您进行操作。

Cloudera Manager 的架构如上图所示（cs结构），主要由如下几部分组成：

• 服务端/Server：
  Cloudera Manager 的核心。主要用于管理 web server 和应 用逻辑。它用于安装软件，配置，开始和停止服务，以及管理服务运行的集群。

• 代理/agent：
  安装在每台主机上。它负责启动和停止的进程，部署配置，触发安装和监控主机。

• 数据库/Database：
  存储配置和监控信息。通常可以在一个或多个数据库服务器上运行的多个逻辑数据库。例如，所述的 Cloudera 管理器服务和监视，后台程序使用不同的逻辑数据库。

• Cloudera Repository：由cloudera manager 提供的软件分发库。

• 客户端/Clients：
  提供了一个与 Server 交互的接口。