centos 7 安装CDH 5.11

Posted 2023-03-16

参考技术A 1.配置 Cloudera Manager 仓库(所有节点)

2.安装jdk 1.8（略）
3.安装mysql 5.7（略）

或者yum
这里 不详细说明了

修改集群中各机器的hosts和hostname，并使之永久生效。步骤如下：
输入命令 hostname：查看当前hostname；
输入命令 hostname <new.hostname>：修改new hostname并立即生效（临时有效，重启系统后失效）
输入命令 vim /etc/hosts：为集群中的各机器添加对应的hosts；
输入命令 vim /etc/sysconfig/network：修改HOSTNAME=new.hostname，使new.hostname永久生效。（如果没有该值则手动添加，并重启确认是否永久生效）

设置集群中的各机器能互相SSH免密登录，并且能够ssh locahost登录本机。步骤如下：
输入命令 ssh-keygen -t rsa，一路回车即可；
输入命令 ssh-copy-id -i .ssh/id_ rsa.pub [e-mail]；
ssh登录各机器进行确认。
可能会有的报错：
/usr/bin/ssh-copy-id: ERROR: Host key verification failed.
因为我输入ssh-copy-id -i .ssh/id_ rsa.pub [e-mail]时没有输入yes 直接回车，再次输入yes成功

sudo firewall-cmd --zone=public --add-port=7180/tcp --permanent
sudo firewall-cmd --reload
临时关闭防火墙
systemctl stop firewalld

检查SELinux当前状态：getenforce；
如果输出为Permissive或Disabled，那么就可以不用设置SELinux的模式了。如果输出是enforcing，就接着做下一步；
vim /etc/selinux/config (有些系统里是 /etc/sysconfig/selinux)；
将 SELINUX=enforcing 修改为 SELINUX=permissive，保存并退出；
输入 setenforce 0，使设置立即生效

集群中各机器都要配
https://docs.cloudera.com/documentation/enterprise/6/6.0/topics/install_cdh_enable_ntp.html

解压cloudera-manager-centos7-cm5.11.0_x86_64.tar.gz
cloudera manager的目录默认位置在/opt下
mv cm-5.11.0 /opt/
mv cloudera /opt/
添加mysql 驱动

cd /opt/cloudera/parcel-repo/
复制以下文件到该目录
CDH-5.11.0-1.cdh5.11.0.p0.34-el6.parcel.sha1
CDH-5.11.0-1.cdh5.11.0.p0.34-el6.parcel
manifest.json
修改
CDH-5.11.0-1.cdh5.11.0.p0.34-el6.parcel.sha1为
CDH-5.11.0-1.cdh5.11.0.p0.34-el6.parcel.sha

各Service所需的库如下图，其中库名和user名可以自定义，但自己必须记住。（建议库名使用图中所示的，user名可以自定义，并且可以相同）

运行

登录：
http://10.1.4.44:7180/cmf/login

1 启动报错：
启动server/agent失败，报错pstree: command not found
安装 psmisc

2 我重装了HDFS所以报错
对当前 NameNode 的名称目录进行格式化。如果名称目录不为空，此操作将失败。
删除 /dfs下的nn目录重试即可
3 datanode启动失败报错

将/dfs/nn 和 dn的 VERSION中的clusterIDs改为一致即可

出现该问题的原因：在第一次格式化dfs后，启动并使用了hadoop，后来又重新执行了格式化命令，这时namenode的clusterID会重新生成，而datanode的clusterID 保持不变。