大数据之—CDH搭建

Posted 黄河大道东

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了大数据之—CDH搭建相关的知识,希望对你有一定的参考价值。

大数据之—CDH搭建

参考:https://zhuanlan.zhihu.com/p/444565129

前言

1、CDH概述

  Cloudera版本(Cloudera’s Distribution Including Apache Hadoop,简称“CDH”),基于Web的用户界面,支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop,简化了大数据平台的安装、使用难度。

  由于组件齐全,安装维护方便,国内已经有不少公司部署了CDH大数据平台,此处选择CDH 6.3版本。

2、安装CDH前准备

推荐硬件配置: 每台主机:CPU4核、内存8G、硬盘500G

主机配置:

192.168.8.137  node1
192.168.8.138  node2
192.168.8.139  node3

软件版本:

  • 操作系统:CentOS release 7.8 (Final) 64位
  • JDK:1.8
  • 数据库:MySQL 5.6.49
  • JDBC:MySQL Connector Java 5.1.38
  • Cloudera Manager: 6.3.1
  • CDH:6.3.1

3、配置

  • 配置
# node1
echo "HOSTNAME=node1" >> /etc/sysconfig/network
# node2
echo "HOSTNAME=node2" >> /etc/sysconfig/network
# node3
echo "HOSTNAME=node3" >> /etc/sysconfig/network
  • 配置

所有节点关闭防火墙

systemctl disable firewalld;systemctl stop firewalld
  • 配置

所有节点配置SeLinux

vim /etc/selinux/config
# 修改内容
SELINUX=permissive

同步配置:xsync /etc/selinux/config

  • 配置

所有节点NTP时间服务配置

yum install ntp
systemctl start ntpd
systemctl enable ntpd
  • 配置

所有节点安装python

CDH要求python 2.7版本,此处系统自带,略过

  • 配置

所有节点修改Linux swappiness参数

为了避免服务器使用swap功能而影响服务器性能,一般都会把vm.swappiness修改为0(cloudera建议10以下)

cd /usr/lib/tuned/ && grep "vm.swappiness" * -R
# 将以下三个文件的 vm.swappiness 的值全部修改为0
vim /usr/lib/tuned/latency-performance/tuned.conf
vim /usr/lib/tuned/throughput-performance/tuned.conf
vim /usr/lib/tuned/virtual-guest/tuned.conf

同步配置:xsync /usr/lib/tuned/latency-performance/tuned.conf /usr/lib/tuned/throughput-performance/tuned.conf /usr/lib/tuned/virtual-guest/tuned.conf

  • 配置

所有节点禁用透明页

vim /etc/rc.local
# 追加以下内容
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled

此项配置无法同步

  • 配置

所有节点安装JDK,已经安装过并且配置过环境变量的就不用重新安装了

cloudera-scm-server一直启动失败的解决办法:https://blog.csdn.net/a544258023/article/details/107856387

jdk1.8改成自己的jdk安装目录

mkdir -p /usr/java

ln -s /opt/jdk/java8 /usr/java/default

  • 配置

主节点:安装mysql数据库

此处安装MySQL5.6版本,安装步骤略过

  • 配置

主节点安装mysql

docker run -d -p 3306:3306 --name mysql -e MYSQL_ROOT_PASSWORD=root mysql:5.7.41
docker exec -it mysql bash
# 创建CDH源数据库、用户、amon服务的数据库
mysql -uroot -proot
create database cmf DEFAULT CHARACTER SET utf8;
create database amon DEFAULT CHARACTER SET utf8;
grant all on cmf.* TO \'cmf\'@\'%\' IDENTIFIED BY \'www.research.com\';
grant all on amon.* TO \'amon\'@\'%\' IDENTIFIED BY \'www.research.com\';
flush privileges;

4、下载安装包

软件已经存到网盘中了,需要的话可自取
链接:https://pan.baidu.com/s/1UH50Uweyi7yg6bV7dl02mQ
提取码:nx7p

主节点安装MySQL的jdbc驱动

mkdir -p /opt/cdh/soft  # cdh的资源上传目录
mkdir -p /usr/share/java && mv /opt/cdh/soft/mysql-connector-java-5.1.47.jar /usr/share/java/mysql-connector-java.jar && cd /usr/share/java && ll

部署CDH

mkdir -p /opt/cdh/cloudera-manager && cd /opt/cdh/cloudera-manager
tar -zvxf /opt/cdh/soft/cm6.3.1-redhat7.tar.gz -C /opt/cdh/cloudera-manager

同步资源:xsync /opt/cdh

所有节点都要安装的内容

# 有顺序要求,顺序不对启动就会导致文件没有权限,主要是某一个包在安装的时候会自动创建cloudera-scm用户与cloudera-scm组
rpm -ivh /opt/cdh/cloudera-manager/cm6.3.1/RPMS/x86_64/cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm --nodeps --force

rpm -ivh /opt/cdh/cloudera-manager/cm6.3.1/RPMS/x86_64/cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm --nodeps --force

只有主节点node1上安装的内容

rpm -ivh /opt/cdh/cloudera-manager/cm6.3.1/RPMS/x86_64/cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm --nodeps --force

所有节点 修改agent配置,指向server节点node1

sed -i "s/server_host=localhost/server_host=此处修改为主节点的ip/g" /etc/cloudera-scm-agent/config.ini

例如:sed -i "s/server_host=localhost/server_host=192.168.8.137/g" /etc/cloudera-scm-agent/config.ini

主节点node1修改server配置

chmod 777 /etc/cloudera-scm-server/db.properties && vim /etc/cloudera-scm-server/db.properties


# Copyright (c) 2012 Cloudera, Inc. All rights reserved.
#
# This file describes the database connection.
#

# The database type
# Currently \'mysql\', \'postgresql\' and \'oracle\' are valid databases.
# com.cloudera.cmf.db.type=mysql

# The database host
# If a non standard port is needed, use \'hostname:port\'
#com.cloudera.cmf.db.host=localhost

# The database name
#com.cloudera.cmf.db.name=cmf

# The database user
#com.cloudera.cmf.db.user=cmf

# The database user\'s password
#com.cloudera.cmf.db.password=

# The db setup type
# After fresh install it is set to INIT
# and will be changed post config.
# If scm-server uses Embedded DB then it is set to EMBEDDED
# If scm-server uses External DB then it is set to EXTERNAL
# com.cloudera.cmf.db.setupType=INIT

com.cloudera.cmf.db.type=mysql
com.cloudera.cmf.db.host=node1
com.cloudera.cmf.db.name=cmf
com.cloudera.cmf.db.user=cmf
com.cloudera.cmf.db.password=www.research.com
com.cloudera.cmf.db.setupType=EXTERNAL

主节点部署离线parcel源

mkdir -p /var/www/html/cdh6_parcel
cp /opt/cdh/soft/CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel /var/www/html/cdh6_parcel/ && cp /opt/cdh/soft/CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel.sha1 /var/www/html/cdh6_parcel/CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel.sha && cp /opt/cdh/soft/manifest.json /var/www/html/cdh6_parcel/ && ll /var/www/html/cdh6_parcel/ && systemctl start httpd

页面访问:http://node1/cdh6_parcel/

启动主节点

# 启动
systemctl start cloudera-scm-server
systemctl stop cloudera-scm-server
systemctl status cloudera-scm-server
# 查看文件夹(没有日志文件是因为安装顺序错了)
ll /var/log/cloudera-scm-server/
# 查看启动日志
tailf /var/log/cloudera-scm-server/cloudera-scm-server.log
journalctl -f -u cloudera-scm-server.service

所有节点启动

systemctl start cloudera-scm-agent
systemctl stop cloudera-scm-agent
systemctl status cloudera-scm-agent

web页面操作

登录主节点的7180端口:http://node1:7180/

登陆用户名:admin 登陆密码: admin

TODO ....

以上是关于大数据之—CDH搭建的主要内容,如果未能解决你的问题,请参考以下文章

大数据之Ambari2.7+HDP3.0(一)

原创大数据基础之集群搭建

CDH搭建大数据集群

大数据平台CDH搭建学习(5.10.0)

CDH大数据集群环境搭建

CDH搭建大数据集群(5.10.0)