NIFI+外部zookeeper集群部署

Posted 2022-11-23

NIFI+外部zookeeper集群部署 

1、配置jdk环境

使用rpm -qa | grep jdk 指令查看服务器是否安装过jdk,这里一般用于卸载openjdk,

[root@hadoop1 ~]# rpm -qa|grep java

 

1.1、openjdk卸载----卸载指令：

[root@hadoop1 ~]# rpm -e --nodeps +安装包名 卸载

使用这一行命令也可以卸载 yum -y remove copy-jdk-configs-3.3-2.el7.noarch

[root@hadoop3 java]# rpm -qa | grep jdk

查看openjdk是否卸载干净

当显示为空时则表示系统自带的openjdk卸载干净了

 

1.2、在/usr/创建java目录

把jdk-8u181-linux-x64.tar.gz 部署包放到/usr/java/目录下

执行解压指令

tar -xvf jdk-8u181-linux-x64.tar.gz  将jdk部署包解压到该目录下

修改包名 执行

1.3、配置jdk环境  vim /etc/profile

export JAVA_HOME=/usr/java/jdk1.8

export PATH=$PATH:$JAVA_HOME/bin 

在文件的最下面添加

#jdk环境配置

export JAVA_HOME=/usr/java/jdk1.8

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export PATH=$JAVA_HOME/bin:$PATH

配置完成后执行source /etc/profile/使得配置生效

1.4、jdk安装校验

使用java -version 查看jdk环境是否生效，显示如下结果则jdk环境配置成功。

2、更改主机名

2.1使用hostname查看当前主机名称

[root@hadoop2 ~]# hostname

2.2、编辑hosts文件

[root@hadoop2 ~]# vi /etc/hosts      

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4

::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

192.168.0.109  hadoop1

192.168.0.111  hadoop2     //服务器IP和对应的hostname 别名  IP修改成服务器对应IP

192.168.0.112  hadoop3     //服务器IP和对应的hostname 别名

[root@hadoop1 ~]#  scp hosts root@192.168.0.111:/etc/  

[root@hadoop1 ~]#  scp hosts root@192.168.0.112:/etc/

2.3、编辑network文件

[root@hadoop1 ~]# vi /etc/sysconfig/network       hostname 要对应本机  192.168.0.109 服务器

NETWORKING=yes

HOSTNAME=hadoop1

[root@hadoop2 ~]# vim /etc/sysconfig/network       hostname 要对应本机  192.168.0.111 服务器

NETWORKING=yes

HOSTNAME=hadoop2

[root@hadoop3 ~]# vim /etc/sysconfig/network       hostname 要对应本机  192.168.0.112 服务器

NETWORKING=yes

HOSTNAME=hadoop3

3.4 编辑hostname文件

[root@hadoop1 ~]# vim /etc/hostname      hostname 要对应本机  192.168.0.109 服务器

hadoop1

[root@hadoop2 ~]# vim /etc/hostname      hostname 要对应本机  192.168.0.111 服务器

hadoop2

[root@hadoop3 ~]# vim /etc/hostname       hostname 要对应本机  192.168.0.112 服务器

hadoop3

4、配置免密登录 3台互认。需要开通ssh 22端口

4.1、创建密钥--登录Linux进入/root/.ssh/目录下

4.2、没有生成密钥的目录如下

4.3、执行ssh-keygen -t rsa 创建密钥

[root@hadoop1

一路回车即可。

4.4、创建信任

4.4.1、把生成的公钥文件id_rsa.pub通过命令ssh-copy-id -i /root/.ssh/id_rsa.pub root@hadoop2传过去

发到每一台服务器包括本机

ssh-copy-id -i /root/.ssh/id_rsa.pub root@hadoop1

ssh-copy-id -i /root/.ssh/id_rsa.pub root@hadoop2

ssh-copy-id -i /root/.ssh/id_rsa.pub root@hadoop3

4.4.2、同时在hadoop2、hadoop3上执行生成密钥ssh-keygen -t rsa ，发送密钥到指定服务器

ssh-copy-id -i /root/.ssh/id_rsa.pub root@hadoop1

ssh-copy-id -i /root/.ssh/id_rsa.pub root@hadoop2

ssh-copy-id -i /root/.ssh/id_rsa.pub root@hadoop3

4.5、验证免密登录是否生效

5、zookeeper集群部署

5.1、解压zookeeper部署包

由于测试服务器home目录容量最大，所以我这边的集群部署都在/home/下

[root@hadoop1 home]# tar -zxvf zookeeper-3.4.8.tar.gz

解压完成后[root@hadoop1 home]# ll

将zookeeper压缩文件解压后，我们进入到 conf 目录：

[root@hadoop1 opt]# cd zookeeper-3.4.8/conf/

5.2、将 zoo_sample.cfg 文件复制并重命名为 zoo.cfg 文件。

[root@hadoop1 conf]# cp zoo_sample.cfg zoo.cfg

5.3、修改配置文件 zoo.cfg

然后通过 vim zoo.cfg 命令对该文件进行修改：

5.3.1、修改

dataDir=/home/zookeeper-3.4.8/data

dataLogDir=/home/zookeeper-3.4.8/log

5.3.2、由于我们配置日志和数据存储的路径将zookeeper集群存储数据路径为/home/zookeeper-3.4.8/data、/home/zookeeper-3.4.8/log

所以我们需要在/home/zookeeper-3.4.8/创建data、log文件夹

[root@hadoop1 zookeeper-3.4.8]# mkdir data

[root@hadoop1 zookeeper-3.4.8]# mkdir log

[root@hadoop1 zookeeper-3.4.8]# ll

在/home/zookeeper-3.4.8/data目录下编辑myid

[root@hadoop1 data]# vi myid

hadoop1服务器对应的myid为1

hadoop2服务器对应的myid为2

hadoop3服务器对应的myid为3

输入数字2

5.3.3、新增集群服务（ 配置成服务器别名比IP效果好，服务器迁移后只需重新配置hostname集群重新生效，不需要重新修改zookeeper配置文件）

server.1=hadoop1:2888:3888       

server.2=hadoop2:2888:3888

server.3=hadoop3:2888:3888

配置好zoo.cfg后

5.3.4、将配置好的zookeeper发送到第二台、第三台服务器

[root@hadoop1 home]# scp -r zookeeper-3.4.8/   root@hadoop2:/home/

[root@hadoop1 home]# scp -r zookeeper-3.4.8/   root@hadoop3:/home/

在/home/zookeeper-3.4.8/data/下

把myid修改成hadoop1 修改成1  hadoop3 修改成3

5.3.5、zookeeper启动顺序 (zookeeper集群是通过myid值得大小来选举leader的。由于hadoop4的myid是3，最大)

①、192.168.0.112  hadoop3

②、192.168.0.111  hadoop2

③、192.168.0.109  hadoop1

5.3.6、zookeeper     指令   执行路径/home/zookeeper-3.4.8/bin

[root@hadoop1

[root@hadoop3 bin]# ./zkServer.sh start

[root@hadoop2 bin]# ./zkServer.sh start

zkServer.sh start     zookeeper启动

zkServer.sh stop     zookeeper停止

zkServer.sh restart     zookeeper重启

[root@hadoop4 bin]# ./zkServer.sh status

[root@hadoop3 bin]# ./zkServer.sh status

[root@hadoop2 bin]# ./zkServer.sh status

zkServer.sh status     查看zookeeper状态 需要启动3台后看zookeeper服务启动状态

6、nifi安装，将nifi-1.8.0-bin.tar.gz部署包上传到服务器/home/目录下，后解压

[root@hadoop1 home]# tar -zxvf nifi-1.8.0-bin.tar.gz

修改包名 mv nifi-1.8.0 nifi

[root@hadoop1 nifi]# cd bin

[root@hadoop1 bin]# vim nifi-env.sh

export JAVA_HOME=/usr/java/jdk1.8/

[root@hadoop1 bin]# cd ../conf

bootstrap.conf：配置服务运行占用资源大小

state-management.xml：zookeeper连接配置（使用外部zookeeper，这里暂不需配置）

zookeeper.properties：zookeeper服务配置（自带的zookeeper服务配置，暂不需配置）

nifi.properties：nifi服务配置

[root@hadoop1 conf]# vim nifi.properties (135行136行)

205、206、207行

226：hadoop1:2181,hadoop2:2181,hadoop3:2181

227、228：3 secs 修改成30 secs

229：/nifi修改成/nifi-prod/

[root@hadoop2 conf]# vim nifi.properties

226：hadoop1:2181,hadoop2:2181,hadoop3:2181

227、228：3 secs 修改成30 secs

229：/nifi修改成/nifi-prod/

[root@hadoop3 conf]# vim nifi.properties

226：hadoop1:2181,hadoop2:2181,hadoop3:2181

227、228：3 secs 修改成30 secs

229：/nifi修改成/nifi-prod/

[root@hadoop1 conf]# vim bootstrap.conf

35、36行根据服务器资源配置nifi服务占用资源大小

[root@hadoop1 bin]# ./nifi.sh start

[root@hadoop2 bin]# ./nifi.sh start

[root@hadoop3 bin]# ./nifi.sh start

分别启动3个nifi服务实例

访问连接：​​http://192.168.0.109:58080/nifi/​​

服务器自动更新重启后，nifi集群3节点启动后都连接不了集群

解决办法：将/home/nifi/conf/flow.xml.gz文件删除（3台都要删除）

查看日志在/home/nifi/logs下执行 [root@hadoop3 logs]# tail -f nifi-app.log 当发现出现successfully 如下所示 基本上集群就启动成功了