安装方式B--使用ClouderaManager的Parcels包进行安装

Posted 2023-02-28 大数据小小罗

安装方式B–使用ClouderaManager的Parcels包进行安装

安装方式B使用从ClouderaManager依赖库下载的包进行安装。安装JDK、Agents、CDH、Managed Service有多种方式可供选择：

• 使用这些包手工进行安装。你可以使用像Puppet或者Chef等工具帮助你向集群中所有的主机安装这些软件。
• Cloudera Manager可以为你向集群中所有的主机安装这些软件。如果你选择了Cloudera Manager安装方式，你可以选择使用包进行安装或者使用parcels进行安装。为了可以使用Cloudera Manager自动安装Cloudera Manager Agent包或者CDH和受管理的服务，集群中的所有主机应该满足以下条件：
  
  • 允许Cloudera Manager Server主机可以使用一致的SSH 账号密码进行登录。
  • 所有的主机必须可以访问到标准包依赖的路径（archive.cloudera.com），或者本地依赖库的路径（必须包含需要的安装文件）

在开始安装之前，需要先安装好Cloudera Manager
注：CDH集群部署不支持在docker容器中进行

1.安装之前的准备

a.使用单用户模式进行配置（单用户模式：在单用户模式下,Cloudera Manager Agent和所有的流程由服务由Cloudera Manager 开始作为一个单独的配置管理用户和组。）
b.在RHEL 5和CentOS 5 系统中确认已经安装Python 2.6(CDH5需要Python支撑)
c.安装并配置外部数据库（Oracle、mysql或者PostgreSQL）
http://www.cloudera.com/documentation/enterprise/latest/topics/cm_ig_installing_configuring_dbs.html#concept_i2r_m3m_hn

建立你的Cloudera Manager 库依赖策略

Cloudera建议安装产品使用包管理工具,如RHEL系统兼容的yum
SLES使用zypper, Debian/Ubuntu 使用apt-get. 这些工具依赖于repositories 文件指定的路径来安装软件。比如说，Cloudera维护着网络可以访问的repositories 软件库，用来供CDH和Cloudera Manager安装。有以下两种安装策略可供选择：

• 标准的Cloudera 依赖库安装。这种方式需要你首先确认已经向你的系统添加了需要的repository库依赖信息。
• 系统内部管理的依赖库。当主机无法访问Internet的时候，你可能使用内部依赖库进行安装。可以参考如何准备无网络下的安装环境要求：http://www.cloudera.com/documentation/enterprise/latest/topics/cm_ig_custom_installation.html#cmig_topic_21（主要讲的是可以使用自建依赖库进行离线安装）

当使用一个内部存储库时,必须将repo或list文件复制到Cloudera Manager服务器主机上，并更新存储库属性指向内部存储库url（指的是安装界面上需要输入的repo库地址）。

RHEL系统兼容的构建内部存储库方式：

1.下载对应的Cloudera Manager repo文件（cloudera-manager.repo）

RHEL/CentOS 6： https://archive.cloudera.com/cm5/redhat/6/x86_64/cm/cloudera-manager.repo

2.拷贝这个文件到 /etc/yum.repos.d/ 路径下

安装Cloudera Manager Server 软件

这一步在Cloudera Manager 的主机上安装 JDK 和Cloudera Manager Server 包

在Cloudera Manager 主机上安装JDK

可以使用repository依赖库进行在线安装，也可以在Oracle官网自己下载JDK安装包进行安装

• 通过repository 安装JDK
  JDK在CM5 的repository库中已经包含。下载并修改repo文件之后，按照如下命令进行安装：

$ sudo yum install oracle-j2sdk1.7

• 手动安装JDK
  查看：
  http://www.cloudera.com/documentation/enterprise/latest/topics/cdh_ig_jdk_installation.html#topic_29

安装Cloudera Manager Server 包

1.安装Cloudera Manager Server 包，需要提前在本地host主机上安装好数据库，或者可以通过网络访问一个数据库。这个host主机不需要是集群中的一个成员，在Cloudera Manager Server主机上，输入如下的命令对Cloudera Manager 包进行安装：

$ sudo yum install cloudera-manager-daemons clodera-manager-server

2.如果你选择了Oracle 数据库用于Cloudera Manager，在CM server的host主机上编辑 /etc/default/cloudera-scm-server 文件。定位以export CM_JAVA_OPTS开头的那一行，将-Xmx2G改为-Xmx4G

（可选项）手动安装Oracle JDK，Cloudera Manager Agent，CDH 和一些管理服务安装包

你可以使用Cloudera Manger 安装Oracle JDK，Cloudera Manager Agent，CDH 和一些管理服务安装包，当然也可以手动进行安装。

启动Cloudera Manager Server

注意：如果你想启动Cloudera Manager Server 和 Agent，不能在这之前启动HDFS、MapReduce。

1.在Cloudera Manager Server主机上运行如下的命令：

sudo service cloudera-scm-server start

如果没有正常启动，查看链接定位问题：
http://www.cloudera.com/documentation/enterprise/latest/topics/cm_ig_troubleshooting.html#cmig_topic_19

启动并登陆Cloudera Manager Admin界面

1.等待几分钟让Cloudera Manager Server完全启动，输入tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log可以观察启动过程。
如果Cloudera Manager Server没有启动,点击 http://www.cloudera.com/documentation/enterprise/latest/topics/cm_ig_troubleshooting.html#cmig_topic_19 查看安装和升级问题定位

2.在浏览器中输入http://Server host:7180，Server host是运行CM的主机的限定域名或者ip地址。

3.使用username:admin psw:admin登陆
4.出现用户条款页面， 接受，下一步

选择CM的版本

出现3个版本
基本版 　　Flex版 　　企业数据中心版
选择基本版就好了

下一步

选择Cloudera Manager 的hosts主机

选择哪些主机将CDH和管理服务

1.搜索并选择要安装服务的主机
举例：

范围定义	匹配的主机
10.1.1.[1-4]	10.1.1.1, 10.1.1.2, 10.1.1.3, 10.1.1.4
host[1-3].company.com	host1.company.com, host2.company.com, host3.company.com
host[07-10].company.com	host07.company.com, host08.company.com, host09.company.com, host10.company.com

点击搜索，勾选需要安装服务的主机

2.点击继续 出现集群安装选择依赖库的界面

选择软件安装方式并安装软件

注意： 你不能使用Parcels包和tar包在同一集群安装软件。如果你已经安装了CDH和服务安装包，将不能继续使用parcels安装方式进行

1.选择软件安装方式（Parcles）和对应的版本号

• a.选择要安装的Parcel包
  你可以指定要安装的Parcel包的路径，点击“More options”按钮进行如下操作
  
  • Parcel包路径指定和本地 Parcel 依赖库的指定 -
    如果你改变了默认的 Parcel路径，并且已经安装并启动了Cloudera Manager Agents，需要重新启动Agentssudo service cloudera-scm-agent restart：
  • Parcel 依赖 – 在 Remote Parcel Repository URLs 区域，点击“+”按钮输入依赖库的URL。
  • 代理服务器的指定
• b. 如果你是使用CM安装软件，你可以选择指定一个自定义存储库中的版本，并且提供一个GPG 秘钥的URL路径

2.如果你已经在集群上所有的主机上手动安装了Agent和JDK

• 点击 Continue
• 跳过剩余步骤，直接“添加服务”

3.选择安装Oracle Java SE开发工具包(JDK)
如果您已经安装了JDK,不选择这个选项

4.选择单用户模式（可选），点击“Continue”继续
5.指定主机的一下安装参数

• 选择root用户或者输入用户名称（该用户名拥有执行sudo命令的权限）
• 选择授权方式
  
  • 如果选择了使用password进行授权，输入密码2次
  • 如果选择了公钥授权，向指定的key文件输入口令和路径
• 指定SSH端口，这个默认22，不需要动
• 选择默认的最大同时安装软件的主机个数，默认是10

root用户的密码在本步中不会被保存，所以你安装完之后，可以修改用户密码，不会对这些软件的使用造成任何影响

6.点击“Continue”
parcel安装过程中会进行相应的提示
7.如果安装完成，点击“Finish”

添加服务

后期更新