CDH5.12.1 安装部署

Posted 2021-01-12 shanhua-fu

 

 

###通过http://192.168.50.200:7180/cmf/login 访问CM控制台

4.CDH安装

4.1CDH集群安装向导

1.admin/admin登陆到CM

2.同意license协议，点击继续

3.选择60试用，点击继续

4.点击“继续”

5.输入主机IP或者名称，点击搜索找到主机名后点击继续

6.点击“继续”

7.使用parcel选项，点击“更多选项”，点击“-”删除其他所有的地址，输入http://ip-192-168-50-200.hns.com/cdh5.12.1/点击“保存更改”

8.选择自定义存储库，输入cm的http地址

9.点击“继续”，进入下一步安装jdk

 

10.点击“继续”，进入下一步，默认多用户模式

11.点击“继续”，进入下一步配置ssh账号密码：

12.点击“继续”，进入下一步，安装Cloudera Manager相关到各个节点

13.点击“继续”，进入下一步安装cdh到各个节点

14.点击“继续”，进入下一步主机检查，确保所有检查项均通过

上述的解决方案：

在每台机器上执行如下操作：

[[email protected] ~]# echo never > /sys/kernel/mm/transparent_hugepage/enabled
[[email protected] ~]# echo never > /sys/kernel/mm/transparent_hugepage/defrag

[[email protected] ~]# echo "vm.swappiness = 10" >> /etc/sysctl.conf

[[email protected] ~]# sysctl -p

 

点击完成进入服务安装向导！！！

4.2 集群设置安装向导

1.选择需要安装的服务，此处使用自定义服务，如下图

2.点击“继续”，进入集群角色分配

HDFS角色分配：

Hive角色分配：

Cloudera Manager Service 角色分配：

Spark角色分配：（Spark on Yarn 所以没有spark的master和worker 角色）

Yarn角色分配：

Zookeeper角色分配：（至少3个Server）

3.角色分配完成点击“继续”，进入下一步，测试数据库连接

 

4.测试成功，点击“继续”，进入目录设置，此处使用默认默认目录，根据实际情况进行目录修改

5.点击“继续”，等待服务启动成功！！！

6.点击“继续”，显示集群安装成功！

7.安装成功后，进入home管理界面

5.快速组建服务验证

5.1HDFS验证（mkdir+put+cat +get）

mkdir操作：

put 操作：

cat 操作：

get 操作：

5.2 Hive 验证

使用hive命令行操作