linux 安装kafka需要配置java环境吗

Posted 2023-03-29

参考技术A 纯java开发的软件在linux下面也可以应用自如。那么首先就需要配置好linux下的java环境，具体说来，就是配置jdk环境变量。 介绍在linux下配置jdk环境变量的几种常用方法。 首先在linux下安装jdk，如果出现提示权限不够(且root下也提示权限不够)，...本回答被提问者采纳 参考技术B 需要的
这句是废话凑字数

Linux-Zookeeper+Kafka集群安装配置

Zookeeper+Kafka集群安装配置

（Linux系统下安装步骤）

• 依赖环境搭建
•     安装 Java1.8 （三台机器统一）
•     创建用户
• Zookeeper安装
• Kafka安装

依赖环境搭建

安装 Java1.8 （三台机器统一）

1. 把Java的源文件包java_1.8.0_171放入 /opt目录中，编辑>vi /etc/profile 追加以下内容到文件中，保存:wq后退出

JAVA_HOME=/opt/java_1.8.0_171 export PATH=${JAVA_HOME}/bin:$PATH export CLASSPATH=.:${JAVA_HOME}/lib/tools.jar:${JAVA_HOME}/lib/dt.jar

2. 执行 >source /etc/profile 使环境变量立即生效

3. 验证>java -version，测试安装是否成功

 

创建用户

考虑到root权限比较大，尽量不要用root用户启动进程，建议新建admin用户

1. 创建用户 >useradd admin    此处三台机子的用户名必须相同

2. 设置密码 >passwd admin

　　　　　  >123456

3. 验证>ll，查看home下目录权限及所有信息

　　权限详解：https://blog.csdn.net/lv8549510/article/details/85406215

首字母d为文件夹，l为文件，权限分类如上图 r：4，w：2，x：1 (rwx :4+2+1=7 ，rw: 4+2=6，……) 1. 设置权限>chmod 777 文件目录/文件名 注：此目录下所有文件权限：文件路径/* 2. 设置文件夹/文件所有者 >chown -R admin:admin 文件目录/文件 3.所有服务器上，Zookeeper、Kafka、Flink需要有rwx三个权限，即在所有者登录后可以设置755权限

4. 切换admin用户操作（注：admin用户主目录在/home/admin下）

   >su admin

 

Zookeeper安装

Zookeeper version：zookeeper-3.4.10.tgz

服务器：203.3.239.114，203.3.239.115，203.3.239.116（后续文档中IP用node1/node2/node3代替）

部署目录：/home/admin/zookeeper（后续文档中目录用$zookeeper_path代替）

！在java1.8安装成功后

！切换admin用户，并进入/home/admin目录下

1. 创建$zookeeper_path目录，解压zookeeper-3.4.10.tar包，放到$zookeeper_path目录下

　　>mkdir -p $zookeeper_path

　　>tar -xzvf zookeeper-3.4.10.tar.gz

2. 进入conf目录下，复制、修改zoo.cfg文件

　　>cd /zookeeper-3.4.10/conf

　　>cp zoo_sample.cfg zoo.cfg

　　修改zoo.cfg文件内容

tickTime = 2000 initLimit = 10 syncLimit = 5 dataDir = $zookeeper_path/data   #数据所在目录 dataLogDir =  $zookeeper_path/datalog  #数据日志所在目录 server.1 = node1:2888:3888  #2888集群中内部通讯端口 server.2 = node2:2888:3888 server.3 = node3:2888:3888

3. 创建data和logs目录

　　>mkdir $zookeeper_path/data

　　>mkdir $zookeeper_path/datalog

4. 在$zookeeper_pat/data目录下，创建myid文件，并写入1（注：不同节点的myid序号不同，与步骤2中的server配置保持严格一致）

 　　>echo “1”>> $zookeeper_path/data/myid

5. 复制zookeeper目录到node2，node3服务器上

　　>scp -r $zookeeper_path admin@node2:/home/admin

　　>scp -r $zookeeper_path admin@node3:/home/admin

　　并修改data/myid文件内容

　　node2：$zookeeper_path/data/myid内容改为2

　　node3：$zookeeper_path/data/myid内容改为3

6. 在node1，node2，node3服务器上进入 $zookeeper_path/zookeeper-3.4.10目录下，执行脚本启动Zookeeper集群

　　启动：>./bin/zkServer.sh start

　　停止：>./bin/zkServer.sh stop

　　查看状态：>./bin/zkServer.sh status

7. 验证

　　1）  在node1，node2，node3上执行>./bin/zkServer.sh status查看状态命令，会打印如下内容，则说明集群部署成功

JMX enabled by default Using config:/opt/apache/zookeeper/zookeeper-3.4.10/bin/../conf/zoo.cfg Mode:leader或者follower

　　2）  >netstat -tunl | grep 2181，发现2181端口正在运行即可

　　3）  >./bin/zkCli.sh -server node1:2181进入zookeeper集群，执行>ls /，弹出集群根目录([zookeeper])表示部署完成，并用quit突出

 

Kafka安装

Kafka version：kafka_2.12-2.3.1.tgz

服务器：203.3.239.114，203.3.239.115，203.3.239.116（后续文档中IP用node1/node2/node3代替）

部署目录：/home/admin/kafka（后续文档中目录用$kafka _path代替）

！在Zookeeper安装成功后（Kafka使用 Zookeeper来保存 broker 、topic和分区的元数据信息）

1. 创建$kafka _path目录，并解压kafka_2.12-2.3.1.tgz到此目录下

　　>mkdir $kafka _path

　　>tar -xzvf kafka_2.12-2.3.1.tgz

2. 进入部署目录，修改config/目录下的server.properties

• 　　Kafka 1：

borker.id = 1        #三个服务器互不相同即可 advertised.listeners = PLANTEXT://node1:9092 log.dirs = $kafka_path/data-log zookeeper.connect = zknode1:2181,zknode2:2181,zknode3:2181 zookeeper.connection.timeout.ms = 6000

• 　　Kafka 2：

borker.id = 2 advertised.listeners = PLANTEXT://node2:9092 log.dirs = $kafka_path/data-log zookeeper.connect = zknode1:2181,zknode2:2181,zknode3:2181 zookeeper.connection.timeout.ms = 6000

• 　　Kafka 3：

borker.id = 3 advertised.listeners = PLANTEXT://node3:9092 log.dirs = $kafka_path/data-log zookeeper.connect = zknode1:2181,zknode2:2181,zknode3:2181 zookeeper.connection.timeout.ms = 6000

3. 在node1，node2，node3服务器上，启动运行kafka集群脚本

　　启动：>kafka-server-start.sh -daemon $kafka_path/kafka_2.12-2.3.1/config/server.properties

　　停止：>kafka-server-stop.sh

4. 验证

　　1）  在node1，node2，node3服务器上，执行>netstat –tunl | grep 9092，查看9092端口是否启动成功

　　2）  创建topic，用于接收信息

　　　　>./bin/kafka-topics.sh --create --bootstrap-server node1:9092,node2:9092,node3:9092 --topic <topic-name> --partitions <partitions_number> --replication-factor < replication-factor_number>

• 创建cb_transing为例

<topic-name>	cb_transing	主题名称
<partitions_number>	3	分区数
< replication-factor_number>	3	副本数

　　3）  查看topic是否创建成功

　　　　>./bin/kafka-topic.sh --list --bootstrap-server node1:9092,node2:9092,node3:9092

　　4）  生产消息

　　　　>./bin/kafka-console-producer.sh --bootstrap-server node1:9092,node2:9092,node3:9092 --topic cb_transing

　　5）  消费消息

　　　　>./bin/kafka-console-consumer.sh –from-beginning --bootstrap-server node1:9092,node2:9092,node3:9092 --topic cb_transing

　　可以成功生产消息，并可以接收，则kafka安装成功！！！