CDH介绍

Posted 2022-11-13 桓桓桓桓

1、Apache Hadoop 不足之处

　　• 版本管理混乱
　　• 部署过程繁琐、升级过程复杂
　　• 兼容性差
　　• 安全性低

2、Hadoop 发行版

　　• Apache Hadoop
　　• Cloudera’s Distribution Including Apache Hadoop（CDH）
　　• Hortonworks Data Platform (HDP)
　　• MapR
　　• EMR
　　• …

3、CDH能解决哪些问题

　　• 1000台服务器的集群，最少要花费多长时间来搭建好Hadoop集群，包括Hive、Hbase、Flume、Kafka、Spark等等
　　• 只给你一天时间，完成以上工作？
　　• 对于以上集群进行hadoop版本升级，你会选择什么升级方案，最少要花费多长时间？
　　• 新版本的Hadoop，与Hive、Hbase、Flume、Kafka、Spark等等兼容？

4、CDH官网介绍:

   CDH是Cloudera的100％开源平台发行版，包括Apache Hadoop，专为满足企业需求而构建。CDH提供开箱即用的企业使用所需的一切。通过将Hadoop与十几个其他关键的开源项目集成，Cloudera创建了一个功能先进的系统，可帮助您执行端到端的大数据工作流程。

   简单来说：CDH 是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具（软件），使得集群的安装可以从几天的时间缩短为几个小时，运维人数也会从数十人降低到几个人，极大的提高了集群管理的效率。

5、为什么选择CDH部署Cluster

   1）CDH基于稳定版Apache Hadoop，并应用最新Bug修复或者Feature的Patch

   2）Cloudera官网上安装、升级文档十分详细

   3）CDH支持Yum包、tar包、RPM包，Cloudera Manager四种安装方式。推荐使用Yum、Apt方式安装

 对于CDH的安装，后期我会分别使用yum和Cloudera Manager两种方式进行安装。在这里先说下Cloudera Manager的功能。

6、Cloudera Manager的功能

    1）管理：对集群进行管理，例如添加、删除节点等操作

    2）监控：监控集群的健康情况，对设置的各种指标和系统的具体运行情况进行全面的监控

    3）诊断：对集群出现的各种问题进行诊断，并且给出建议和解决方案

    4）集成：多组件可以进行版本兼容间的整合　

7、CDH的优点　　

　　• 版本划分清晰
　　• 版本更新速度快
　　• 支持Kerberos安全认证
　　• 文档清晰
　　• 支持多种安装方式（Cloudera Manager方式）

8、CDH安装方式

　　• Cloudera Manager
　　• Yum
　　• Rpm
　　• Tarball

9、CDH下载地址

　　• CDH5.4
　　　　 http://archive.cloudera.com/cdh5/
　　•Cloudera Manager5.4.3：
　　　　 http://www.cloudera.com/downloads/manager/5-4-3.html