使用Cloudera部署，管理Hadoop集群
Posted 公共安全大数据
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了使用Cloudera部署，管理Hadoop集群相关的知识，希望对你有一定的参考价值。
1. Cloudera介绍
Hadoop是一个开源项目，Cloudera对Hadoop进行了商业化，简化了安装过程，并对hadoop做了一些封装。
根据使用的需要，Hadoop集群要安装很多的组件，一个一个安装配置起来比较麻烦，还要考虑HA，监控等。
使用Cloudera可以很简单的部署集群，安装需要的组件，并且可以监控和管理集群。
CDH是Cloudera公司的发行版，包含Hadoop，Spark，Hive，Hbase和一些工具等。
Cloudera有两个版本：
Cloudera Express 版本是免费的
Cloudera Enterprise （60天试用期）需要购买注册码
2. 安装Cloudrea Manager，部署Hadoop集群
2.1 安装方法
先安装Cloudrea Manager，再通过Cloudrea Manager在节点上安装Cloudrea Manager客户端，CDH，管理工具。
官方文档：
https://www.cloudera.com/documentation/manager/5-1-x.html
环境需求：
1. 关闭selinux
2. 各节点可以SSH登陆
3. 在/etc/hosts中添加各节点的主机名
2.2 安装Cloudrea Manager
可以通过官方的一键安装包，也可以通过yum或rpm安装。
下面介绍用官方的一键安装包安装。
本次安装环境为CnetOS 7，在3台机器上进行安装
test165 (cloudera manager server)
test166 (cloudera manager agent)
test167 (cloudera manager agent)
2.2.1 下载一键安装包
http://archive.cloudera.com/cm5/installer/latest/
下载最新版： cloudera-manager-installer.bin
2.2.2 安装cloudera manager
在test165上安装cloudera manager server，启动安装向导
|
1
以上是关于使用Cloudera部署，管理Hadoop集群的主要内容，如果未能解决你的问题，请参考以下文章 Hadoop zookeeper HA高可靠集群部署搭建，及错误诊断 大数据运维---Linux安装hadoop Hadoop HA集群部署 离线部署 Cloudera Manager 5 和 CDH 5.12.1 及使用 CDH 部署 Hadoop 集群服务 |