hdp 2.6.5 扩容增加数据节点

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了hdp 2.6.5 扩容增加数据节点相关的知识,希望对你有一定的参考价值。

hdp 2.6.5 扩容增加数据节点

标签(空格分隔): 大数据平台构建


  • 一: 新增节点的数据系统初始
  • 二: 增加数据节点的步骤

一:新增节点的数据系统初始

1.1 系统主机名:

系统:RHEL7.5x64
cat /etc/hosts

172.17.100.21   ZY-001.flyfish
172.17.100.22   ZY-002.flyfish
172.17.100.23   ZY-003.flyfish
172.17.100.24   ZY-004.flyfish

ZY-004.flyfish 作为增加节点

技术分享图片

1.2 新增节点关闭防火墙与selinux

yum install -y firewall* iptable* 

  (1) 关闭firewalld

 systemctl stop firewalld.service
 systemctl disable firewalld.service
 firewall-cmd --state

 (2) 关闭iptables 
 iptables -F
 systemctl stop iptables.service 
 service iptables save
 systemctl disable iptables.service 

 (3) 禁用 selinux 

  sed -i ‘/SELINUX/s/enforcing/disabled/‘ /etc/selinux/config  
  setenforce 0
  getenforce 0
  sestatus

  重启机器

  reboot

技术分享图片

1.3 无密钥登录

做root用户无密钥认证

 ssh-keygen ---一直敲回车到最后

 cat id_rsa.pub >> authorized_keys 

 将所有的公钥导入authorized_keys  分发到 所有的 机器的.ssh/ 下面

 然后测试

 ---

 ssh zy-004.flyfish

技术分享图片

技术分享图片

技术分享图片

1.4 ZY-004.flyfish时间同步 ZY-001.flyfish

login:

   ZY-002.flyfish

scp /etc/chrony.conf ZY-004.flyfish:/etc/

login:
  ZY-004.flyfish

  service chronyd stop 
  service chronyd start
  chkconfig chronyd on 

  chronyc sources -v 

技术分享图片

技术分享图片

技术分享图片

1.5 句柄数更改

login:  

ZY-001.flyfish

scp /etc/security/limits.conf zy-004.flyfish:/etc/security/

技术分享图片

1.6 同步yum源

cd /etc/yum.repos.d/
scp ambari.repo hdp.gpl.repo hdp.repo ZY-004.flyfish:/etc/yum.repos.d/

login: 

ZY-004.flyfish

mount /dev/cdrom /media/
yum makecache

技术分享图片

技术分享图片

1.7 安装 jdk

login:

ZY-001.flyfish

scp jdk-8u162-linux-x64.tar.gz ZY-004.flyfish:/root

scp /etc/profile ZY-004.flyfish:/etc/

login:

ZY-004.flyfish

tar -zxvf jdk-8u162-linux-x64.tar.gz -C /training/

cd /training 

ln -s jdk1.8.0_162/ jdk

source /etc/profile 

java -version 

技术分享图片

1.8 : 关于补丁包

libtirpc-0.2.4-0.10.el7.x86_64.rpm  
libtirpc-devel-0.2.4-0.10.el7.x86_64.rpm
---
scp libtirpc-* ZY-004.flyfish:/root

login 
ZY-004.flyfish

rpm -ivh libtirpc-* 

技术分享图片

二: 增加数据节点的步骤

技术分享图片

技术分享图片

技术分享图片

技术分享图片

技术分享图片

技术分享图片

技术分享图片

技术分享图片

技术分享图片

技术分享图片

技术分享图片

以上是关于hdp 2.6.5 扩容增加数据节点的主要内容,如果未能解决你的问题,请参考以下文章

CDH5.12.0 中扩容增加计算节点

Redis Cluster集群扩容主从节点详细教程 #yyds干货盘点#

ambari 2.6.2 安装 hdp 2.6.5.0 遇到的问题

kafka集群扩容后的数据迁移

Kubernetes-集群扩容增加node节点

Ceph之osd扩容和换盘