CDH5.9.0在线安装及问题汇总

Posted 2022-12-13 wingooom

准备

将下载的cloudera-cdh5下的三个文件：

CDH-5.9.0-1.cdh5.9.0.p0.23-el7.parcel
CDH-5.9.0-1.cdh5.9.0.p0.23-el7.parcel.sha1
manifest.json

移动到/opt/cloudera/parcel-repo，并重命名sha1文件。

cp ./* /opt/cloudera/parcel-repo
mv CDH-5.9.0-1.cdh5.9.0.p0.23-el7.parcel.sha1 CDH-5.9.0-1.cdh5.9.0.p0.23-el7.parcel.sha

安装

访问页面 http://IP:7180/
进行在线安装。

问题1

报错

JDBC driver cannot be found. Unable to find the JDBC database jar on host

解决

下载jar包：
mysql-connector-java-5.1.27.jar

重命名：

mv mysql-connector-java-5.1.27.jar mysql-connector-java.jar

移动：

mv mysql-connector-java.jar  /usr/share/java/

问题2

报错

Logon denied for user/password. Able to find the database server and database, but logon request was rejected

解决

mysql> GRANT all privileges on *.* to 'admin'@'%' IDENTIFIED BY 'password' WITH GRANT OPTION;
mysql> FLUSH privileges

password，是admin账户对应的密码。

透明大页面问题

1)检查透明大页面问题

cat /sys/kernel/mm/transparent_hugepage/defrag

如果显示为：

[always] madvise never

则当前状态是always，则需要关闭

2)临时关闭透明大页面问题

echo never > /sys/kernel/mm/transparent_hugepage/defrag

确认配置生效：

cat /sys/kernel/mm/transparent_hugepage/defrag

应该显示为：

always madvise [never]

3)配置开机自动生效

vim编辑/etc/rc.local,加入如下内容

echo never > /sys/kernel/mm/transparent_hugepage/defrag

优化虚拟内存需求率

1)检查虚拟内存需求率

cat /proc/sys/vm/swappiness

显示如下：（系统默认是60）

60

cdh安装要求为0或10以下。

2)临时降低虚拟内存需求率

sysctl vm.swappiness=0

3)永久降低虚拟内存需求率

vim编辑/etc/sysctl.conf
添加

vm.swappiness = 0

并运行如下命令使生效

sysctl -p

hostname问题

问题：agent.py: error: argument –hostname is required

查看主机名称

[root @localhost ~]# hostname 
localhost.localdomain 

修改主机名为slave2

[root @localhost ~]# hostname slave2

修改 /etc/sysconfig/network 配置文件，以便下次重启的时，使用新的主机名

NETWORKING=yes
HOSTNAME=slave2

修改本机的域名解析文件 /etc/hosts

127.0.0.1 localhost
192.168.x.xx master
192.168.x.xx slave1
192.168.x.xxx slave2

登录用户共同私钥

私钥文件id_rsa所在位置

$ cd ~/.ssh/

将此文件下载后，在cm在线安装界面上传即可。

添加zookeeper实例错误

当有一台机器正在跑zookeeper的时候，再添加其他的，就会报错如下

Starting these new ZooKeeper Servers may cause the existing ZooKeeper Datastore to be lost. Try again after restarting any
existing ZooKeeper Servers with outdated configurations. If you do not want to preserve the existing Datastore, you can start
each ZooKeeper Server from its respective Status page.

将正在运行的zookeeper实例停止，然后再三台一起启动即可。

CDH重启流程

主机：（master）8.64，8.59，8.44

一、关闭cdh集群

0、在界面上关闭集群的所有服务：http://8.64:7180/cmf/home

1、关闭三台服务器的agent服务
service cloudera-scm-agent stop

2、杀掉三台服务器的supervisord进程
2-1：查询进程号num： ps -ef|grep supervisord
2-2：kill num

3、关闭master（8.64）的server服务：service cloudera-scm-server stop

4、关闭master的数据库：service cloudera-scm-server-db stop

二、启动cdh集群

1、启动master节点数据库：service cloudera-scm-server-db start
2、启动master节点的server：service cloudera-scm-server start
3、启动三台服务器的agent：service cloudera-scm-agent start

等待一段时间后访问界面：http://192.168.8.64:7180/cmf/home

再启动相应服务。重点内容