Centos-6.5安装CDH-5.9.0教程

Posted 2020-08-28

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Centos-6.5安装CDH-5.9.0教程相关的知识，希望对你有一定的参考价值。

本文是为了帮助想以Cloudera搭建自己大数据管理和运行平台的朋友，由于Cloudera有多种安装方式，经过多次的尝试和研究，本文介绍的是其中一种更容易安装成功的方式，供大家参考。

Cloudera的介绍可参考官方文档 cloudera介绍包含cloudera的各个工程项目，这里就不再细说，直接进入正题。

一、准备工作

CDH安装包： http://archive.cloudera.com/cdh5/parcels/5.9.0/CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel

http://archive.cloudera.com/cdh5/parcels/5.9.0/CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel.sha1

http://archive.cloudera.com/cdh5/parcels/5.9.0/manifest.json

myslq连接jar：http://download.softagency.net/MySQL/Downloads/Connector-J/mysql-connector-java-5.1.40.zip

CDH安装的RPM包：http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.9.0/RPMS/x86_64/

2、安装Centos6.5

关闭selinux：命令：vim /etc/selinux/config 修改为 SELINUX=disabled

卸载自带openJdk（CDH不支持openjdk）：

[[email protected] ~]# rpm -qa | grep jdk \\查询系统自带jdk

java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64

java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64

[[email protected] ~]# yum -y remove java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64 \\卸载自带jdk

[[email protected] ~]# yum -y remove java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64 \\卸载自带jdk

安装oracle jdk

下载oracle jdk

http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

[[email protected] .ssh]# tar xzvf /usr/local / jdk-8u121-linux-x64.tar.gz \\解压

[[email protected] .ssh]# vi /etc/profile 配置环境变量

export JAVA_HOME=/usr/local/jdk1.8

export PATH=$JAVA_HOME/bin:$PATH

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

[[email protected] .ssh]# source /etc/profile

关闭防火墙：

[[email protected] ~]# service iptables stop \\即时生效

[[email protected] ~]# chkconfig iptables off \\重启生效

修改主机名

[[email protected] ~]# vi /etc/sysconfig/network

NETWORKING=yes

HOSTNAME=server1 \\hostname 为主机名

修改hosts

[[email protected] ~]# vi /etc/hosts

192.168.1.31 server1

192.168.1.32 server2

192.168.1.33 server3

配置ssh免密码登录

\\主机执行

[[email protected] ~]# ssh-keygen -t rsa \\回车键到结束

[[email protected] .ssh]# cd /root/.ssh/

[[email protected] .ssh]# ls

id_rsa id_rsa.pub known_hosts

[[email protected] .ssh]# cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

[[email protected] .ssh]# ls

authorized_keys id_rsa id_rsa.pub known_hosts

\\分发到各子机

[[email protected] .ssh]# scp /root/.ssh/authorized_keys [email protected]:/root/.ssh/

[email protected]‘s password:

authorized_keys

配置ntp服务

\\所有节点执行

[[email protected] .ssh]# yum install ntp

[[email protected] .ssh]# chkconfig ntpd on \\设置开机启动

[[email protected] .ssh]# chkconfig --list ntpd \\检查是否设置成功与系统基本相同的为“启动”

\\主机同步中心时间阿里云时钟服务

[[email protected] .ssh]# ntpdate -u ntp1.aliyun.com

【主机ntp服务配置】

[[email protected] .ssh]# vi /etc/ntp.conf

修改为

# Please consider joining the pool (http://www.pool.ntp.org/join.html).

server ntp1.aliyun.com prefer

#broadcast 192.168.1.255 autokey

\\启动ntp服务

[[email protected] .ssh]# service ntpd start

【子机ntp配置】

[[email protected] .ssh]# vi /etc/ntp.conf

修改server为主机的ip

# Please consider joining the pool (http://www.pool.ntp.org/join.html).

server 192.168.1.31

#broadcast 192.168.1.255 autokey

ntp服务配置完成可以用 date命令查看时间是否一致

在主节点（本次是server1）安装mysql

参考rpm包方式安装mysql：http://3126597.blog.51cto.com/3116597/1893213

二安装clourdera-manage

【主机操作】

将cloudera-manager-el6-cm5.9.0_x86_64.tar.gz放至/opt

tar xzvf cloudera-manager*.tar.gz \\在opt目录下执行解压

将mysql-connector-java-5.1.40-bin.jar拷贝至/opt/cm-5.9.0/share/cmf/lib

将mysql-connector-java-5.1.40-bin.jar拷贝至/usr/share/java 并重新命名为mysql-connector-java.jar（有时包jdbc驱动找不到一般是此步骤未做）

初始化mysql库

[[email protected] cm-5.9.0]# /opt/cm-5.9.0/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -proot --scm-host localhost scm scm scm

这时我们登录mysql可以看到已经有个CM库了

创建用户（所有节点执行）

[[email protected] cm-5.9.0]# useradd --system --home=/opt/cm-5.9.0/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

Agent配置

[[email protected] cloudera-scm-agent]# vi /opt/cm-5.9.0/etc/cloudera-scm-agent/config.ini

\\将server_host 改为主节点主机名

server_host=server1

将Agent分发到各子节点

[[email protected] cloudera-scm-agent]# scp -r /opt/cm-5.9.0/ [email protected]:/opt/

将parcel文件放至/opt/cloudera/parcel-repo

三个文件：CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel

CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel.sha1

manifest.json

将 CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel.sha1 重命名为 CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel.sha

安装RPM包