cdh集群安装(入门)

Posted 2022-12-01 大数据的未来

cdh集群安装

1、  配置主机 vim/etc/hosts   (hadoop1,hadoop2,hadoop3)代表在3台机器执行操作

192.168.157.128hadoop1

192.168.157.129hadoop2

192.168.157.130 hadoop3

2、  关闭防火墙 (所有机器)

chkconfig iptables off

3、  ssh免密码登录(hadoop1执行)

ssh-keygen -t rsa

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

chmod 600 ~/.ssh/authorized_keys

scp ~/.ssh/authorized_keys root@hadoop2:~/.ssh/

scp ~/.ssh/authorized_keys root@hadoop3:~/.ssh/

4、  安装mysql服务(hadoop1)

(1)    yum install mysql-server

(2)    service mysqld start

(3)    chkconfig mysqld on (设置开机启动)

(4)    查看服务是否启动chkconfig --list | grep mysqld

5、  配置mysql(hadoop1)

a)        配置mysql密码：mysqladmin -u root password 111111

b)        登录：mysql -u root –p 111111

c)        创建hive数据库: create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

d)        授权：grant all privileges on *.* to 'root'@'hadoop1' identified by'111111' with grant option;

e)        flush privileges;

6、  配置NTP服务，保障所有机器时间同步(hadoop1,hadoop2,hadoop3)

a)        查看ntp是否安装: rpm -q ntp

b)        所有节点安装: yum install ntp

c)        配置安装启动: chkconfig ntpd on

d)        查看服务: chkconfig --list ntpd

e)        同步时间: ntpdate -u 202.112.10.36 (这里可能是你公司的时间服务器吧，测试就用这个)

7、  设置ntp配置(hadoop1)

a)        vim /etc/ntp.conf 配置内容为:

server 202.112.10.36 prefer   (参照这个服务器)

b)        重启：service ntpd start

c)        查看状态:ntpdstat

8、  配置 vim/etc/ntp.conf  内容为:  server n1 (hadoop2,hadoop3)

9、  与hadoop1同步时间: ntpdate-u hadoop1  (hadoop2,hadoop3)

10、重启 service ntpdrestart   (hadoop2,hadoop3)

11、安装Cloudera ManagerServer(hadoop1)

       a)下载: wget http://archive.cloudera.com/cm5/cm/5/cloudera-manager-el6-cm5.3.3_x86_64.tar.gz

         b)解压tar -zxvf/soft/cloudera-manager-el6-cm5.3.3_x86_64.tar.gz

         c)将cloudera移动到/opt  mv cm-5.3.3/ /opt  mv cloudera /opt/

         d)修改权限 chown -Rroot:root /opt/cm-5.3.3   chown -Rroot:root /opt/cloudera

12、为Cloudera Manager5 建立数据库

         a)下载mysql官网的jdbc驱动(mysql-connector-java-5.1.33-bin)如果官网找不到，百度一下吧。

         b)将mysql-connector-java-5.1.33.jar放到/opt/cm-5.3.3/share/cmf/lib/目录下cpmysql-connector-java-5.1.33-bin.jar /opt/cm-5.3.3/share/cmf/lib/hive/lib/

         c)在主节点初始化CM5数据库/opt/cm-5.3.3/share/cmf/schema/scm_prepare_database.shmysql cm -hlocalhost -uroot -p111111 --scm-host localhost scm scm scm

(格式是:scm_prepare_database.sh数据库类型  数据库 服务器 用户名 密码  –scm-host  Cloudera_Manager_Server所在的机器)

         d)给所有节点添加cloudera-scm用户：(命令如下)

useradd --system --home=/opt/cm-5.3.3/run/cloudera-scm-server--no-create-home --shell=/bin/false --comment "Cloudera SCM User"cloudera-scm

13、Agent配置(hadoop1)

         a)修改配置vim /opt/cm-5.3.3/etc/cloudera-scm-agent/config.ini server_host为主节点的主机名 内容为:   server_host=hadoop1

14、准备Parcels用以安装CDH5（配置源文件）(hadoop1)

         a)下载路径为:http://archive.cloudera.com/cdh5/parcels/5.3.3/

         b)将CHD5相关的Parcel包放到主节点的/opt/cloudera/parcel-repo/目录中（若无parcel-repo目录需要手动创建）

mv manifest.json  /opt/cloudera/parcel-repo/

mv CDH-5.3.3-1.cdh5.3.3.p0.5-el6.parcel.sha1  /opt/cloudera/parcel-repo/

mv CDH-5.3.3-1.cdh5.3.3.p0.5-el6.parcel  /opt/cloudera/parcel-repo/   

         c)重命名: mvCDH-5.3.3-1.cdh5.3.3.p0.5-el6.parcel.sha1 CDH-5.3.3-1.cdh5.3.3.p0.5-el6.parcel.sha

15、同步agent到其他节点(hadoop1)

         a)scp -r /opt/cm-5.3.3 root@hadoop2:/opt/

         b)scp -r /opt/cm-5.3.3 root@hadoop3:/opt/

16、启动相关脚本

         a)在namenode启动server和agent( 主节点也是要做到集群中的, 所以主节点也要开启Agent )   (hadoop1)

                   /opt/cm-5.3.3/etc/init.d/cloudera-scm-server start

                   /opt/cm-5.3.3/etc/init.d/cloudera-scm-agent start

         b)在所有datanode启动agent  (hadoop2,hadoop3)

                   /opt/cm-5.3.3/etc/init.d/cloudera-scm-agent start

17、登录界面 hadoop1:7180

18、选择免费版本ClouderExpress版

19、后面一步一步点(不想说了,出错看日志)

20、截一个图(代表成功吧)

注意：(1) Cloudera 建议将 /proc/sys/vm/swappiness 设置为 0。当前设置为 60。

使用 sysctl 命令在运行时更改该设置并编辑 /etc/sysctl.conf 以在重启后保存该设置。

您可以继续进行安装，但可能会遇到问题，Cloudera Manager 报告您的主机由于交换运行状况不佳。

以下主机受到影响：

在会受到影响的主机上执行echo 0 > /proc/sys/vm/swappiness命令即可解决。(在每一台机器执行)

 

本文写于20160423凌晨2点(哈哈，哥不是传说！！！！！！！！！！！！困了)