CDH5.9.1安装指南（分布式+图文详解）

Posted somliy

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了CDH5.9.1安装指南（分布式+图文详解）相关的知识，希望对你有一定的参考价值。

centos7.1，CDH5.9.1，3台机器，终极指导安装

下载链接如下：

安装文件下载链接如下：

链接：https://pan.baidu.com/s/1RQYNiWn9a-T8GXcCsoDBsA 密码：mu83

报错解决方法在最后面

报错解决方法在最后面

报错解决方法在最后面

基础配置

首先查看IP地址

$ ifconfig

技术分享图片

如果没有显示的话，需要修改配置文件 ifcfg-enp5s0（名字不唯一，一般是第一个）

$ cd /etc/sysconfig/network-scripts
$ vim ifcfg-enp5s0

技术分享图片

$ 修改箭头处，分别是静态地址，系统启动时是否激活网卡，ip地址，网关，DNS

技术分享图片

重启服务

$ systemctl retart network.service

检测一下

$ ping www.baidu.com

技术分享图片

修改主机名分别为master，node1，node2

$ hostname

技术分享图片

更改yum源，Yum原本的源都在国外，更新特别浪费时间，我们改为阿里源：

首先我们将原来的源进行备份：
$ mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup
接下来我们用阿里源进行替换：
$ wget -O/etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo

技术分享图片

设置ssh

主要有三步：①生成公钥和私钥、②导入公钥到认证文件、③更改权限
首先添加各个节点的host
$ vim /etc/hosts  

127.0.0.1 localhost
::1 localhost

210.44.71.51 master
210.44.71.52 node1
210.44.71.53 node2

技术分享图片

$ ssh-keygen -t rsa -f ~/.ssh/id_rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ chmod 700 ~/.ssh && chmod 600 ~/.ssh/*

技术分享图片

技术分享图片

设置主机->从机的无密码登录

$ cat ~/.ssh/id_rsa.pub | ssh [email protected] 'cat - >> ~/.ssh/authorized_keys'

$ cat ~/.ssh/id_rsa.pub | ssh [email protected] 'cat - >> ~/.ssh/authorized_keys'

技术分享图片

测试
$ ssh node1
$ ssh node2

技术分享图片

技术分享图片

设置从机->主机的无密码登录
分别在node1、node2上执行
$ cat ~/.ssh/id_rsa.pub | ssh [email protected] 'cat - >> ~/.ssh/authorized_keys'

技术分享图片

测试
$ ssh master

技术分享图片

安装JDK

如果有openjdk先卸载

$ rpm -qa | grep java
$ rpm -e --nodeps +openjdkname

安装

$ rpm -ivh jdk-8u121-linux-x64.rpm

技术分享图片

发给其他节点(主节点)，然后重复上一次操作

$ scp /root/jdk-8u121-linux-x64.rpm node1:/root/
$ scp /root/jdk-8u121-linux-x64.rpm node2:/root/

技术分享图片

检测一下

$ which java  
$ java -version  
$ which javac  
$ javac -version

技术分享图片

关闭防火墙，分别为关闭防火墙，禁止开机启动

$ systemctl stop firewalld.service
$ systemctl disable firewalld.service

技术分享图片

关闭SELinux，重启生效

$ vim /etc/selinux/config  
$ reboot

技术分享图片

下载Cloudera相关rpm

下载cloudera-manager.repo：

http://archive.cloudera.com/cm5/redhat/7/x86_64/cm/cloudera-manager.repo
修改其中的版本号为要安装的版本号
修改所有的 https 为 http
baseurl=http://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.9.1/
gpgkey =http://archive.cloudera.com/cm5/redhat/7/x86_64/cm/RPM-GPG-KEY-cloudera

下载cloudera-manager-installer.bin：
http://archive.cloudera.com/cm5/installer/5.9.1/
下载RPMS（目录下的所有文件）：
http://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.9.1/RPMS/x86_64/
下载CDH-Parcel文件（三个）： （注意manifest.json需要自己复制下来，粘到txt重命名，下载后将.sha1文件后缀更改为.sha）

CDH-5.9.1-1.cdh5.9.1.p0.4-el7.parcel
CDH-5.9.1-1.cdh5.9.1.p0.4-el7.parcel.sha1
manifest.json

http://archive.cloudera.com/cdh5/parcels/5.9.1/
技术分享图片

在所有节点上拷贝安装文件

将cloudera-manager.repo文件拷贝到所有节点的/etc/yum.repos.d/文件夹下
$ mkdir -p /etc/yum.repos.d/
$ cp /root/cloudera-manager.repo /etc/yum.repos.d/
传给其他节点
$ scp /root/cloudera-manager.repo node1:/root/

$ cp /root/cloudera-manager.repo /etc/yum.repos.d/   //node1
$ cp /root/cloudera-manager.repo /etc/yum.repos.d/   //node2

技术分享图片

将下载的RPMS所有文件，拷贝到/opt/cloudera-RPMS/目录下，需要新建目录（主节点全部，从节点部分）：

$ mkdir -p /opt/cloudera-RPMS

node中不需要安装server的包，只需要安装下面两个

cloudera-manager-agent-5.9.1-1.cm591.p0.8.el7.x86_64.rpm
cloudera-manager-daemons-5.9.1-1.cm591.p0.8.el7.x86_64.rpm

$ scp /opt/cloudera-RPMS/cloudera-manager-agent-5.9.1-1.cm591.p0.8.el7.x86_64.rpm node1:/opt/cloudera-RPMS/
$ scp /opt/cloudera-RPMS/cloudera-manager-daemons-5.9.1-1.cm591.p0.8.el7.x86_64.rpm node1:/opt/cloudera-RPMS/

$ scp /opt/cloudera-RPMS/cloudera-manager-agent-5.9.1-1.cm591.p0.8.el7.x86_64.rpm node2:/opt/cloudera-RPMS/
$ scp /opt/cloudera-RPMS/cloudera-manager-daemons-5.9.1-1.cm591.p0.8.el7.x86_64.rpm node2:/opt/cloudera-RPMS/

技术分享图片

将下载的CDH-Parcel文件（三个）拷贝到/opt/cloudera/parcel-repo 目录下 （如果该目录不存在，手动创建，所有节点）

传给其他节点
//主节点
$ mkdir -p /opt/cloudera/parcel-repo 
//从节点
$ mkdir -p /opt/cloudera 
$ scp -r /opt/cloudera/parcel-repo/ node1:/opt/cloudera/
$ scp -r /opt/cloudera/parcel-repo/ node2:/opt/cloudera/

技术分享图片

所有节点都需要执行的

$ cd /opt/cloudera-RPMS  
$ yum -y localinstall --nogpgcheck *.rpm

只需要在主节点（Master）上执行的

将cloudera-manager-installer.bin拷贝到/opt目录下
给.bin文件添加可执行权限
$ sudo chmod +x /opt/cloudera-manager-installer.bin

执行安装

/opt/cloudera-manager-installer.bin

依次出现这些页面

技术分享图片

技术分享图片

技术分享图片

技术分享图片

技术分享图片

技术分享图片

技术分享图片

技术分享图片

进入web页面210.44.71.51:7180

账号密码都是admin

技术分享图片

技术分享图片

在搜索框里输入节点名字，搜索，英文逗号分隔

技术分享图片

技术分享图片

技术分享图片

不要选择JDK，已经安装过了

技术分享图片

默认即可

技术分享图片

设置密码

技术分享图片

一定保证所有节点连网 这里图片有个错误，应该包含master节点

技术分享图片

技术分享图片

修改请看最后教程

技术分享图片

技术分享图片

默认即可

技术分享图片

技术分享图片

技术分享图片

技术分享图片

技术分享图片

技术分享图片

技术分享图片

可能出现的错误

Fatal error

技术分享图片

把数据文件删除（改名字）
如果后来又出现错误可继续删除

$ cd /etc/cloudera-scm-server/
$ mv /etc/cloudera-scm-server/db.properties /etc/cloudera-scm-server/db.properties.backup

技术分享图片

更改SELinux需要重启

$ reboot

错误3

技术分享图片
查看日志文件后发现是获取不到镜像，DNS没配好

错误8

技术分享图片

可能是因为cloudera-manager.repo没有拷贝到目标文件夹
或者是因为启动失败，主节点中/etc/yum.repos.d目录下cloudera-manager.repo自动改名导致的，重新拷贝一份进去

cp /root/cloudera-manager.repo /etc/yum.repos.d/

配置时警告错误

技术分享图片
1、透明大页面问题
临时关闭：

echo never > /sys/kernel/mm/transparent_hugepage/defrag

修改开机设置

vi /etc/rc.local

echo never > /sys/kernel/mm/transparent_hugepage/defrag

技术分享图片

临时修改：

sysctl vm.swappiness=0

永久设置：

vi /etc/sysctl.conf
vm.swappiness = 10
sysctl -p

以上是关于CDH5.9.1安装指南（分布式+图文详解）的主要内容，如果未能解决你的问题，请参考以下文章

精细胞与卵细胞相爱的故事——详解Redis分布式锁（图文并茂，手把手搭建服务，代码详解，建议收藏）

Windows 安装Redis（图文详解）

Windows 安装Redis（图文详解）

阿里云服务器选购指南（图文教程详解）

django的安装下载图文详解

Node.jsMac 下安装node图文详解