Hadoop安装服务器-CDH6.2离线安装与Web界面安装
Posted Fuu17
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Hadoop安装服务器-CDH6.2离线安装与Web界面安装相关的知识,希望对你有一定的参考价值。
Hadoop安装服务器-CDH6.2离线安装
- 1. 概述
- 2. 安装的步骤
- 2.1 安装CDH前的安装包准备
- 2.2 编辑/etc/hosts文件(每个节点)
- 2.3 关闭防火墙、禁止防火墙开机自启(每个节点)
- 2.4 ssh无密码登录
- 2.5 配置NTP服务(所有节点)
- 2.6 修改Linux swappiness参数(所有节点)
- 2.7 禁用透明页(所有节点)
- 2.8 JDK安装(所有节点)
- 2.9 创建/usr/share/java 目录,将mysql-jdbc包放过去(所有节点)
- 2.10 为保证防火墙、虚拟机参数修改后生效,各个节点的机器需要重启
- 2.11 Mysql的安装
- 2.12 对mysql进行初始化配置
- 2.13 仅在主机节点(master)安装httpd服务
- 2.14 配置Cloudera Manager包的yum源(仅master节点)
- 2.15 导入GPG key (仅master)
- 2.16 仅在master节点安装Cloudera Manager
- 3. Web界面安装
1. 概述
CDH,全称Cloudera’s Distribition,including Apache Hadoop。是Hadoop众多分支应用中的一种,由Cloudera维护,基于稳定版的Apache Hadoop构建,提供了Hadoop的核心(可扩展式存储、分布式计算),最为重要的是提供了基于web的用户界面。
CDH的优点:版本划分清晰,更新速度快,支持Kerberos安全认证,支持多种安装方式(如Yum,rpm等)。
CDH分为Cloudera Manager管理平台和CDH parcel(parcel包含各种组件的安装包)。这里采用CDH6.2.0。
2. 安装的步骤
2.1 安装CDH前的安装包准备
- Cloudera的相关安装包
- CDH6.2.0的相关安装包
- 主机上数据库5.7版本的相关安装包(仅主机上安装)
- 远程连接主机的Xshell7版本的安装方法链接
2.2 编辑/etc/hosts文件(每个节点)
vim /etc/hosts
比如将设置主机设置为master,其他的设置为s1和s2。
2.3 关闭防火墙、禁止防火墙开机自启(每个节点)
- systemctl stop firewald 关闭防火墙
- systemctl disable firewald 禁止防火墙开机自启
- vim /etc/selinux/config —> SELINUX=disabled (修改)
2.4 ssh无密码登录
- master节点执行ssh-keygen -t rsa 一路回车到结束,在/root/.ssh/下面会生成一个公钥文件id_rsa.pub
- cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 将公钥追加到authorized_keys
- chmod 600 ~/.ssh/authorized_keys 修改权限
- 将~/.ssh从当前master节点分发到s1,s2各个节点,实现主机登录从机无密码登录。如:
cat ~/.ssh/id_rsa.pub | ssh root@√√√.√√√.√√√.√√√ ‘cat - >> ~/.ssh/authorized_keys’
cat ~/.ssh/id_rsa.pub | ssh root@√√√.√√√.√√√.√√√ ‘cat - >> ~/.ssh/authorized_keys’
√√√.√√√.√√√.√√√是你设置的不同端口 - ssh 各个节点互相登陆
2.5 配置NTP服务(所有节点)
- 修改时区(改为中国标准时区)
ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime - 安装 ntp yum -y install ntp
- 对主机节点master配置 vim /etc/ntp.conf
master节点指向阿里云,s1、s2节点将server指向master节点 - 重启ntp服务:service ntpd restart
- 设置开机自启:systemctl enable ntpd.service
- 查看与时间同步服务器的时间偏差:ntpdc -c loopinfo
- 查看当前同步的时间服务器:ntpq -p
- 查看状态:ntpstat 查看主机s1和s2是否配置成功
2.6 修改Linux swappiness参数(所有节点)
vim /etc/sysctl.conf
2.7 禁用透明页(所有节点)
vim /etc/rc.local #添加图中没注释的部分,并给与可执行权限: chmod +x /etc/rc.d/rc.local
2.8 JDK安装(所有节点)
- 查询已安装的java: rpm -qa | grep java
- 卸载已安装的java:yum remove java
- 安装已准备的java:rpm -ivh oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm
- 末尾添加如下路径:vi /etc/profile
- Source /etc/profile
- 验证已安装的java版本:java -version
2.9 创建/usr/share/java 目录,将mysql-jdbc包放过去(所有节点)
- 创建目录: mkdir -p /usr/share/java
将mysql-connect-java-5.1.34.jar包的名字修改为
mysql-connect-java.jar - 移动修改后的包到新创建的目录下:
mv /opt/ mysql-connect-java.jar /usr/share/java
2.10 为保证防火墙、虚拟机参数修改后生效,各个节点的机器需要重启
reboot -h now
2.11 Mysql的安装
卸载原生的mariadb,安装mysql
- rpm -qa|grep mariadb
- rpm -e --nodeps mariadb-libs-5.5.60-1.el7_5.x86_64
- cd /opt/mysql/ #切换到有mysql安装包的目录
- tar -xvf ./mysql-5.7.19-1.el7.x86_64.rpm-bundle.tar #解压安装包
安装mysql相关包
- rpm -ivh mysql-community-common-5.7.19-1.el7.x86_64.rpm
- rpm -ivh mysql-community-libs-5.7.19-1.el7.x86_64.rpm
- rpm -ivh mysql-community-client-5.7.19-1.el7.x86_64.rpm
- rpm -ivh mysql-community-server-5.7.19-1.el7.x86_64.rpm
- rpm -ivh mysql-community-libs-compat-5.7.19-1.el7.x86_64.rpm
2.12 对mysql进行初始化配置
- 初始化mysql使mysql目录的拥有者为mysql用户
mysqld --initialize --user=mysql - cat /var/log/mysqld.log # 最后一行将会有随机生成的密码
- systemctl start mysqld.service # 设置mysql服务自启
- mysql -uroot –p 如果不能登陆
- systemctl restart mysqld #重启mysql
- 登录并修改mysql的管理者密码
$>mysql -u root
mysql>use mysql;
mysql>set password = PASSWORD('root');
mysql>exit;
- 创建数据库(为后续安装服务的时候使用)
create database cmserver default charset utf8 collate utf8_general_ci;
grant all on cmserver.* to 'cmserveruser'@'%' identified by 'root';
create database metastore default charset utf8 collate utf8_general_ci;
grant all on metastore.* to 'hiveuser'@'%' identified by 'root';
create database amon default charset utf8 collate utf8_general_ci;
grant all on amon.* to 'amonuser'@'%' identified by 'root';
create database rman default charset utf8 collate utf8_general_ci;
grant all on rman.* to 'rmanuser'@'%' identified by 'root';
create database oozie default charset utf8 collate utf8_general_ci;
grant all on oozie.* to 'oozieuser'@'%' identified by 'root';
create database hue default charset utf8 collate utf8_general_ci;
grant all on hue.* to 'hueuser'@'%' identified by 'root';
2.13 仅在主机节点(master)安装httpd服务
- yum install httpd
- systemctl start httpd
- systemctl enable httpd.service #设置httpd服务开机自启
2.14 配置Cloudera Manager包的yum源(仅master节点)
- 新建目录: mkdir -p /var/www/html/cloudera-repos/
- 将下载的cm6包移动到新建的目录下:
mv cm6 /var/www/html/cloudera-repos/ - 切换进cm6目录:cd /var/www/html/cloudera-repos/cm6/
- 新建repodata: createrepo . (注意:一定不用能用mkdir repodata 新建repodata,会导致后面报错)
- 在master节点修改yum的相关配置
vim /etc/yum.repos.d/cloudera-manager.repo - yum clean all
- 建立缓存:yum makecahe
2.15 导入GPG key (仅master)
- rpm --import http://manager/cloudera-repos/cm6/RPM-GPG-KEY-cloudera
2.16 仅在master节点安装Cloudera Manager
- sudo yum install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server
- 安装完CM之后在/opt/下面会出现cloudera目录
- mv /opt/parcels/* /opt/cloudera/parcel-repo # 将parcel包移动到指定位置
- 在/opt/cloudera/parcel-repo执行以下命令:
sha1sum CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel | awk ‘ print $1 ’ > CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel.sha - 执行初始化脚本
/opt/cloudera/cm/schema/scm_prepare_database.sh mysql cmserver cmserveruser root - 打开server服务:
service cloudera-scm-server start - 打开设置的Cloudera Manager登录端口
3. Web界面安装
3.1 查看设置端口启动没有:netstat -an | grep 端口号
3.2 查看cloudera-scm-service状态
3.3 Web登录
3.4 选择安装版本
3.5 剩下的步骤
- Welcome (Add Cluster - Installation)
- Enter Login Credentials
- Install Agents
- Install Parcels
3.6 大数据组件安装
- Select Services
- 自定义角色分配
- 数据库设置
- 审核更改
- 完成组件安装
以上是关于Hadoop安装服务器-CDH6.2离线安装与Web界面安装的主要内容,如果未能解决你的问题,请参考以下文章